HomeTags#inference-engine

Tag timeline

#inference-engine 2 total

同じキーワードで束ねられた更新を確認できます。カテゴリをまたいだ関連ニュースや実装トピックの追跡に使えます。

Total 2
Showing 2
Page 1/1
Updated 1h ago

Entries page 1/1 · 2 total

Tue, Jun 2 1 entries
release local-llm 2w ago · ollama-releases

Ollama v0.30.0リリース——llama.cppによる互換性とパフォーマンスを強化 Ollama Releases v0.30.0

重要度 Medium Medium priority 重要度 Medium · 公式リリース · Local LLM / Open Models Medium priority · official release · Local LLM / Open Models 公開 6月2日 Published Jun 2

AI要約 OllamaがバージョンV0.30.0をリリースした。llama.cppとの統合を改善し、互換性とパフォーマンスを向上させた。Apple SiliconのMLXエンジンを補完する形で、より幅広いハードウェアへのサポートを拡大している。

EN Ollama 0.30 is now available, with improved compatibility and performance using llama.cpp . This augments the MLX engine on Apple Silicon, bringing support to a wider range of hardware. This release b

Ollama Releases v0.30.0 media fallback
Thu, May 7 1 entries
blog local-llm 1mo ago · huggingface-blog

vLLM V0からV1へ:RLにおける修正より正確性を優先 vLLM V0 to V1: Correctness Before Corrections in RL

重要度 Medium Medium priority 重要度 Medium · 技術記事 · Local LLM / Open Models Medium priority · technical post · Local LLM / Open Models 公開 5月7日 Published May 7

AI要約 ServiceNow AIがvLLMをV0からV1へ移行した際、強化学習トレーニングで生じた数値的な不一致と再現性の問題を分析。修正を急ぐ前に、ロジット計算やバッチ処理の正確性を検証する重要性を示した。

EN vLLM V0 to V1: Correctness Before Corrections in RL

vLLM V0 to V1: Correctness Before Corrections in RL og fallback