層プルーニングLLMの性能崩壊を決定表現遷移から解明 Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
AI要約 本研究は、レイヤープルーニングを施した大規模言語モデルで生じる急激な性能低下の原因を、内部表現の決定遷移という観点から分析する。特定層の除去が表現の収束過程を断絶させ、タスク精度を崩壊させるメカニズムを明らかにしている。
EN This paper investigates why layer-pruned large language models suffer abrupt performance collapse, analyzing it through the lens of decision representation transitions across layers and identifying which removals disrupt the model's internal convergence process.