AI要約 ハイブリッド言語モデル(Transformer+状態空間モデル等)において、LoRAをどのコンポーネント種別に配置すべきかを検証した研究。コンポーネントごとの配置がファインチューニング性能に与える影響を分析し、最適な配置戦略を提示している。

EN This paper investigates optimal LoRA placement across different component types in hybrid language models combining Transformers with alternative architectures, analyzing how component-type selection affects fine-tuning performance and proposing effective placement strategies.

AI要約 本論文は、LoRAなどのパラメータ効率的微調整(PEFT)手法が必ずしもメモリ効率的でないことを指摘する。オンデバイス環境でのLLM適応において、メモリ使用量を主軸に据えた微調整手法の再評価と新たな設計指針を提案する。

EN This paper argues that parameter-efficient fine-tuning methods like LoRA are not necessarily memory-efficient. It rethinks fine-tuning approaches for on-device LLM adaptation by prioritizing memory consumption as the key constraint.