大規模言語モデルの逐次ポストトレーニングにおける表現崩壊 Representation Collapse in Sequential Post-Training of Large Language Models
重要度 Medium Medium priority 重要度 Medium · 論文/研究 · Papers / Benchmarks Medium priority · paper/research · Papers / Benchmarks 公開 6月1日 Published Jun 1
AI要約 複数段階のポストトレーニングを順番に適用すると、LLMの内部表現が崩壊する現象を分析した論文。単一の命令チューニングでは見られないこの問題のメカニズムと対策を論じている。
EN arXiv:2605.30524v1 Announce Type: new Abstract: Large language models are now adapted through chains of post-training stages rather than through a single instruction-tuning pass. This paper studies wh
fallback