#transformer 4 total

AI要約 各トークン生成時にTransformerの層ごとのエントロピーを活用してサンプリングを動的に調整する手法を提案し、追加学習なしに推論精度を向上させる。計算コストを抑えながら複雑な推論タスクの性能を高められる点が重要。

EN This paper proposes a training-free sampling method that uses per-layer entropy signals from Transformer depth to guide token generation, improving LLM reasoning without any fine-tuning. It offers a practical way to boost performance on complex reasoning benchmarks at low additional cost.

AI要約 Transformerのアテンション層における残差接続を低ランク近似で置き換える手法を提案し、モデルの表現力を保ちながらパラメータ効率を大幅に改善できることを示した研究。

EN This paper proposes approximating attention residuals with low-rank structures in Transformers, showing that model expressiveness can be maintained while significantly reducing parameter counts and improving efficiency.

AI要約 DiScoFormerは単一のTransformerモデルで確率密度とスコア関数を同時に推定できる手法で、複数の分布に跨った汎化性能を示す点が注目される。

EN DiScoFormer is a unified transformer that jointly estimates probability density and score functions across multiple distributions, offering a more general and efficient approach to density estimation in machine learning.

AI要約 Alibaba Cloudが開発するオープンウェイトLLM「Qwen」シリーズを論文から解説する記事で、Qwen-1（2023年9月）からQwen-3（2025年4月）への急速なアーキテクチャ進化を整理している。

EN This article explains the architecture of Alibaba Cloud's open-weight LLM series Qwen through its papers, tracing its rapid evolution from Qwen-1 (Sept 2023) to Qwen-3 (April 2025).