AI要約 本論文はTransformer学習中の重み行列のスペクトル動態を分析し、過渡的な圧縮波と持続的なスペクトル勾配の存在を示す。さらにQ/KとVの間に明確な非対称性があることを明らかにし、注意機構の役割分担を解釈する手がかりを提供する。

EN This paper analyzes the spectral dynamics of weight matrices during Transformer training, identifying transient compression waves and persistent spectral gradients, and reveals a clear Q/K vs. V asymmetry that sheds light on functional roles within attention.

AI要約 Transformerの推論コスト削減のため、層間でKVキャッシュを共有する新手法を提案。確率的ルーティングにより、各トークンが動的に異なる層のキャッシュを参照可能にし、適応的な深さ方向の共有を実現する。

EN Proposes Stochastic KV Routing, a method enabling adaptive depth-wise KV cache sharing across Transformer layers. Tokens probabilistically route to different layers' caches, reducing inference costs while maintaining model quality.