Home›arXiv›MawForge: ローカル環境でのMixture-of-Experts推論向けメモリ制約エキスパート実体化

MawForge: ローカル環境でのMixture-of-Experts推論向けメモリ制約エキスパート実体化MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference

元記事を読むRead original articlearxiv.org(新しいタブで開きます)(opens in a new tab)
AI2 点サマリSummary highlight
  • MawForgeは、限られたメモリ環境でMoEモデルをローカル推論する際に、使用頻度の高いエキスパートを事前に実体化してキャッシュする手法を提案する。
  • これによりメモリ効率を維持しながら推論速度を大幅に改善できる。

MawForge proposes a memory-bounded strategy for local Mixture-of-Experts inference by selectively materializing frequently activated experts within a fixed memory budget, enabling faster inference on consumer hardware without sacrificing model quality.

本ページの要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).

記事情報・収集記録Article details & collection record
出典Source
arXiv cs.LG論文Paper
公開日時 (JST)Published (JST)
収集日時 (JST)Collected (JST)
配信形式Format
論文Paper
原文言語Source language
EN
重要度の位置づけImportance in this lane
MediumMedium priority(arXiv 80件中、同等以上 80件)(80 of 80 arXiv entries are equal or higher)
出典の平均重要度(掲載直近 20 件・最大 30 件)Source average (last 20 listed, up to 30)
2.0 / 31=情報 · 2=中 · 3=高1=Info · 2=Medium · 3=High
情報の寿命Half-life
長期 (アーキテクチャ)Long-term (architecture)

📄arXiv の他の記事More from arXivもっと見る →View more →

ページ上部へScroll to top