#memory-efficiency 2 total

AI要約 MawForgeは、限られたメモリ環境でMoEモデルをローカル推論する際に、使用頻度の高いエキスパートを事前に実体化してキャッシュする手法を提案する。これによりメモリ効率を維持しながら推論速度を大幅に改善できる。

EN MawForge proposes a memory-bounded strategy for local Mixture-of-Experts inference by selectively materializing frequently activated experts within a fixed memory budget, enabling faster inference on consumer hardware without sacrificing model quality.

AI要約 BitsMoEは、MoE大規模言語モデルの量子化において重み行列のスペクトルエネルギー分布を指標に層ごとへ動的にビット幅を割り当てる手法を提案し、メモリ消費を抑えつつ精度低下を最小化する。

EN BitsMoE proposes a spectral energy-guided method that dynamically allocates bit-widths across layers when quantizing Mixture-of-Experts LLMs, cutting memory footprint while minimizing accuracy loss.