AI要約 投機的デコーディングにおいて、ドラフトトークンのプレフィックスを並列に検証する手法を提案。従来の逐次検証に比べ、検証ステップを高速化し、大規模言語モデルの推論レイテンシを削減することを目指す研究である。

EN This paper proposes a parallel prefix verification method for speculative decoding, accelerating the verification step of draft tokens to reduce inference latency in large language models compared to sequential verification.