v0.32.10-rc0: nvfp4ダブルスケールモデルのプリフィル高速化v0.32.10-rc0: nn: speed up prefill on double-scale nvfp4 models

Ollama Releases公式Official·github.com·2026/08/13 05:25·4d ago

AI要点サマリSummary highlight

ModelOptチェックポイントが持つfloat32グローバルスケールの適用を単一のfused kernelで処理することで、余分なカーネル起動と中間バッファを削減し、nvfp4モデルのプリフィル速度を向上させた。

Ollama v0.32.10-rc0 fuses the float32 global-scale multiply and dtype cast into a single kernel for double-scale nvfp4 models, eliminating an extra kernel launch and intermediate buffer per projection to speed up prefill.

出典SourceOllama Releases公式Official
直近30件の平均重要度Avg importance, last 301=Info · 2=Medium · 3=High
配信形式FormatリリースRelease
重要度Importance重要度 MediumMedium priority(Local LLM / Open Models 230件中、同等以上 207件)(207 of 230 Local LLM / Open Models entries are equal or higher)
情報の寿命Half-life⏱️ 短命 (ニュース)Short-lived (news)
原文言語Source languageEN
収集日時Collected2026/08/17 18:27

本ページの要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (github.com) をご確認ください。The summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (github.com).

🏠Local LLM / Open Models の他の記事More from Local LLM / Open Modelsもっと見る →View more →