v0.40.0-rc6：モデルにマルチモーダル埋め込みを追加（#18820）v0.40.0-rc6: model: add multimodal embeddings (#18820)
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- Ollama v0.40.0-rc6は、モデルにマルチモーダル埋め込みを追加し、平均プーリングとL2正規化を出力に採用した。
- /api/embedでは各入力辞書にメディアを指定でき、項目単位のマルチモーダル処理が可能になる。
- Ollama v0.40.0-rc6 adds multimodal embeddings using mean pooling and L2 normalization.
- /api/embed now takes media per input dictionary, enabling item-level multimodal workflows.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (github.com) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (github.com).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
マルチモーダル
Ollama v0.40.0-rc6では、モデルにマルチモーダル埋め込みが追加された。埋め込みの出力方式と、/api/embedへメディアを渡す単位が明示されており、項目単位でマルチモーダル処理を扱える点が中心となる。
平均プーリング
埋め込みの出力には平均プーリングが採用された。モデル内で得られる情報を平均化してまとめ、埋め込みとして出力する構成である。今回の変更では、この平均プーリングがL2正規化と組み合わされている。
L2正規化
平均プーリングに加え、出力にはL2正規化が適用される。したがって、単にマルチモーダル埋め込みを追加するだけでなく、その出力を平均プーリングとL2正規化によって整えるところまでが変更内容に含まれる。
/api/embed
/api/embedは、入力辞書ごとにメディアを受け取れるようになった。メディアの指定を入力全体に一括で持たせるのではなく、それぞれの入力辞書に関連付けられるため、各項目を単位としてマルチモーダルな入力を構成できる。これにより、埋め込みAPI上で項目ごとのメディアを扱うワークフローが可能になる。
Multimodal embeddings
Ollama v0.40.0-rc6 adds multimodal embeddings to the model. The change matters because the embedding API can now associate media with individual inputs, enabling item-level multimodal workflows rather than treating media only at a broader request level.
The release identifies this model change as issue #18820. Its scope is focused on how multimodal embedding inputs are accepted and how the resulting output is produced.
Mean pooling and L2 normalization
The multimodal embedding output uses mean pooling followed by L2 normalization. These are the two specified output-processing steps in the release.
Mean pooling is applied as part of producing the embedding output, while L2 normalization is used for the resulting representation. The release summarizes this sequence as “mean-pool + L2 output,” making both operations part of the newly added multimodal embedding behavior.
No separate output mode is described: mean pooling and L2 normalization are presented together as the output approach for this change.
Media per input dictionary
The /api/embed endpoint now accepts media through input dictionaries. Media can be specified separately for each dictionary, tying it to an individual input item.
This per-item structure is the key API detail. A request can contain input dictionaries whose media is assigned at the item level, allowing multimodal processing to follow the organization of those individual inputs. The media association is therefore carried by each relevant input dictionary rather than described as one undifferentiated setting.
Combined with the model’s new multimodal embedding support, this makes /api/embed the interface for item-level multimodal workflows in v0.40.0-rc6. The release’s stated changes are limited to the addition of multimodal embeddings, the use of mean pooling and L2 normalization for output, and per-input media handling through dictionaries.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoこれで普段の開発作業は何が変わるの？入力ごとにメディアを扱えるってこと？What changes in day-to-day development with this? Does it mean each input can carry its own media?
- TECHガイドTECH Guideうん。/api/embedで入力辞書ごとにメディアを指定し、項目単位でマルチモーダル埋め込みを扱えるよ。Yes. /api/embed can now take media in each input dictionary, enabling item-level multimodal embeddings.
- ポコPoko前は入力ごとにメディアを渡せなかったの？どこが新しくなったんだろう。Couldn’t it pass media per input before? I’m wondering what exactly changed.
- TECHガイドTECH Guideこの版でマルチモーダル埋め込みが追加され、入力辞書ごとのメディア指定に対応したよ。以前の詳しい仕様までは示されていないんだ。This release adds multimodal embeddings and per-input-dictionary media. It doesn’t spell out the earlier behavior in detail.
- ポコPokoじゃあ一番の収穫は、種類の違う入力を項目ごとに埋め込みへ回せることなんだね。So the big takeaway is that different kinds of input can be sent for embedding item by item, right?
- TECHガイドTECH Guideそうだね。あわせて、出力に平均プーリングとL2正規化が採用された点も押さえておきたいね。Right. Also note that the output now uses mean pooling and L2 normalization.
