一般化レイリー商最適化による基盤モデルの能力保持型ファインチューニング Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization
AI要約 基盤モデルをファインチューニングすると事前学習で獲得した汎用能力が損なわれる問題に対し、一般化レイリー商最適化を用いて下流タスクへの適応と基盤能力の保持を両立する手法を提案した研究。
EN arXiv:2606.00132v1 Announce Type: new Abstract: While finetuning effectively adapts foundation models to specialized downstream tasks, it can degrade nontarget capabilities acquired during pretraining
og fallback