paper research 2w ago · 
arxiv-cs-lg
BitsMoE: スペクトルエネルギーを活用したMoE LLMの効率的ビット割り当て量子化 BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization
重要度 Medium Medium priority 重要度 Medium · 論文/研究 · Papers / Benchmarks Medium priority · paper/research · Papers / Benchmarks 公開 6月2日 Published Jun 2
AI要約 BitsMoEは、MoE（Mixture-of-Experts）大規模言語モデルの量子化において、重み行列のスペクトルエネルギー分布を指標にビット幅を層ごとに動的配分する手法を提案する。メモリ効率を高めながら精度低下を抑えることを目指した研究論文。
EN arXiv:2606.00079v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) large language models reduce per-token computation through sparse expert activation, but their deployment remains memory-intens
og fallback