検索拡張生成のためのIn-Context最適化:勾配降下法の視点 In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective
AI要約 In-context learningを線形自己注意モデルの暗黙的勾配降下とみなす理論に基づき、RAGの文脈選択を最適化問題として再定式化した研究。検索文書の質が学習効果を左右する仕組みを理論的に説明する。
EN Recasts RAG context selection as an in-context optimization problem, linking it to implicit gradient descent in self-attention, to theoretically explain how retrieved documents steer model behavior.
og fallback