#llm-inference 2 total

AI要約 Ollama v0.30.1 がリリースされ、llama.cpp b9478 で導入されたデフォルト30秒間隔の SSE ping コメントフレームを JSON として誤解析していた不具合が修正された。ストリーミング中にコロンのみの SSE コメント行をスキップするよう処理が改善されている。

EN llama.cpp b9478 added a default 30s SSE ping that emits colon-only comment frames (":\n\n") while streamed requests are idle; Ollama treated non-data SSE lines as JSON, so skip SSE comments in complet

AI要約 Googleは、TPU上でのLLM推論を高速化するため、拡散モデルに着想を得た投機的デコード手法を発表した。複数トークンを並列に予測・検証することで、最大3倍のスループット向上を実現したという。

EN Researchers at UCSD have successfully implemented DFlash, a block-diffusion speculative decoding method, on Google TPUs to bypass the sequential bottlenecks of traditional autoregressive drafting. By