#speculative-decoding 2 total

AI要約 2026年5月26日に公開されたEAGLE 3.1は、スペキュラティブデコーディングの精度低下原因「attention drift」を解消し、vLLM公式ベンチマークでKimi K2.6のスループットを対EAGLE-3比2.03倍に向上させた。

EN EAGLE 3.1, released May 26 2026, addresses 'attention drift' in speculative decoding and achieves up to 2.03× throughput improvement over EAGLE-3 on Kimi K2.6, according to vLLM's official benchmarks.

AI要約 Googleは、TPU上でのLLM推論を高速化するため、拡散モデルに着想を得た投機的デコード手法を発表した。複数トークンを並列に予測・検証することで、最大3倍のスループット向上を実現したという。

EN Researchers at UCSD have successfully implemented DFlash, a block-diffusion speculative decoding method, on Google TPUs to bypass the sequential bottlenecks of traditional autoregressive drafting. By