#model-compression 2 total

AI要約 本研究はLLMの構造的プルーニングに際し、べき乗変換と符号保存スコア集約を組み合わせた新手法を提案し、精度を維持しながら効率的なモデル圧縮を実現する。

EN This paper proposes a structured pruning method for LLMs combining power transformation and sign-preserving score aggregation with adaptive feature retention, enabling more accurate compression with less performance degradation.

AI要約 BitsMoEは、MoE大規模言語モデルの量子化において重み行列のスペクトルエネルギー分布を指標に層ごとへ動的にビット幅を割り当てる手法を提案し、メモリ消費を抑えつつ精度低下を最小化する。

EN BitsMoE proposes a spectral energy-guided method that dynamically allocates bit-widths across layers when quantizing Mixture-of-Experts LLMs, cutting memory footprint while minimizing accuracy loss.