paper research 1mo ago · 
arXiv cs.LG
BitsMoE: スペクトルエネルギーを用いたMoE LLM量子化の効率的ビット割り当て BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization
通常 Normal 深掘り候補 · 論文/研究 · Papers / Benchmarks Deep-dive candidate · paper/research · Papers / Benchmarks 公開 6月2日 Published Jun 2
AI要約 BitsMoEは、MoE大規模言語モデルの量子化において重み行列のスペクトルエネルギー分布を指標に層ごとへ動的にビット幅を割り当てる手法を提案し、メモリ消費を抑えつつ精度低下を最小化する。
EN BitsMoE proposes a spectral energy-guided method that dynamically allocates bit-widths across layers when quantizing Mixture-of-Experts LLMs, cutting memory footprint while minimizing accuracy loss.
og fallback