#multimodal 24 total

AI要約 Google DeepMind の Gemma 4 12B モデルが、16GB RAM を搭載した一般的なノートPCでローカル動作可能になった。マルチモーダル対応とエージェント機能を組み合わせ、データをクラウドに送らずに視覚情報の解析や自律的なタスク実行が行える環境を実現する。

EN Google DeepMind’s Gemma 4 12B model brings agentic, multimodal AI capabilities to everyday laptops with 16GB of RAM, enabling local data processing and visual insight generation. Users can leverage th

AI要約 歯科画像解析に推論・外部ツール・専門知識を組み合わせたエージェント型AIシステム「OralAgent」を提案した研究論文。

EN arXiv:2605.27378v1 Announce Type: new Abstract: Dental image analysis plays a pivotal role in supporting accurate diagnosis and treatment planning in oral healthcare. Although recent advances have pro

AI要約 LLMエージェントがビジュアル仕様からWebアプリを生成する能力を評価するベンチマーク「VISTA」を提案。

EN VISTA is a new benchmark for evaluating LLM-based agents on end-to-end web-app generation from visual specifications.

AI要約 GoogleはGemini Embedding 2を発表し、エージェント型のマルチモーダルRAG構築を可能にした。テキスト・画像・コードを横断する検索精度を向上させ、開発者がより高度な検索拡張生成アプリを構築できる基盤を提供する。

EN Google has announced the general availability of Gemini Embedding 2, a unified model that maps text, images, video, audio, and documents into a single semantic space. This model allows developers to p

AI要約 NVIDIAは文書、音声、動画を統合的に処理できるマルチモーダルモデル「Nemotron 3 Nano Omni」を公開した。長文コンテキスト対応により、エージェント用途での文書解析やメディア理解を一つのモデルで担えることが特徴とされる。

EN Introducing NVIDIA Nemotron 3 Nano Omni: Long-Context Multimodal Intelligence for Documents, Audio and Video Agents

AI要約 Hugging FaceがSentence Transformers v5系を用いて、テキストと画像を扱うマルチモーダル埋め込みモデルおよび再ランカーモデルを学習・微調整する方法を解説。CLIPなどのビジョン言語モデルを基盤に、損失関数やデータ準備、評価まで実践的に紹介する。

EN Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers

AI要約 Sentence Transformersが画像やマルチモーダル入力に対応するよう拡張された。CLIPやSigLIPなどのモデルを共通APIで扱え、テキスト・画像横断の埋め込みやリランキングが可能になり、検索やRAGの構築が容易になる。

EN Multimodal Embedding & Reranker Models with Sentence Transformers

AI要約 アブダビのTechnology Innovation Institute(TII)が、Falconシリーズの新たなマルチモーダルモデル「Falcon Perception」を公開した。視覚と言語を統合し、軽量かつエッジ展開を意識した設計で、オープンウェイトとして提供される。

EN Falcon Perception

AI要約 IBMが企業文書処理に特化した軽量マルチモーダルモデルGranite 4.0 3B Visionを発表。3Bパラメータながら文書理解やOCR、表・図解析で大規模モデルに匹敵する性能を示し、Apache 2.0で公開された。エンタープライズ用途を意識した設計が特徴。

EN Granite 4.0 3B Vision: Compact Multimodal Intelligence for Enterprise Documents

AI要約 Hugging Faceが2026年春時点のオープンソースAIの状況をまとめた。中国勢のLLM主導、マルチモーダルや動画生成モデルの台頭、推論・量子化エコシステムの成熟が示され、コミュニティ規模も急拡大している。

EN State of Open Source on Hugging Face: Spring 2026

AI要約 DeepSeek登場から1年、中国発オープンソースAIモデルのアーキテクチャ選択——MoE・長文処理・マルチモーダル・推論——を俯瞰分析。

EN Architectural Choices in China's Open-Source AI Ecosystem: Building Beyond DeepSeek

AI要約 Googleは医療画像とテキストを扱えるオープンモデル群MedGemmaを発表した。Gemma 3をベースに4Bと27BのマルチモーダルモデルおよびMedSigLIP画像エンコーダを提供し、医療AI開発者がローカル環境で微調整・運用できる。

EN We’re announcing new multimodal models in the MedGemma collection, our most capable open models for health AI development.