Universal Transformersにはメモリが必要:適応的再帰推論における深さと状態のトレードオフ Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning
AI要約 本論文はUniversal Transformersの適応的再帰推論能力を理論・実験の両面から分析し、深さを増やすだけでは不十分で、状態(メモリ)の保持が不可欠であることを示す。深さと状態次元の間に明確なトレードオフが存在することを明らかにした。
EN This paper analyzes Universal Transformers in adaptive recursive reasoning, showing that increasing depth alone is insufficient and persistent memory state is essential. The authors demonstrate a clear depth-state trade-off both theoretically and empirically.
arxiv.org →
og