Apple Silicon上でポーランド語LLM「Bielik 11B」を対象に、異なるモデルファミリー間での投機的デコーディングを評価した… Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM
AI要約 Apple Silicon上でポーランド語LLM「Bielik 11B」を対象に、異なるモデルファミリー間での投機的デコーディングを評価した論文。UAG(Universal Assisted Generation)を拡張したMLX-LMを用い、クロスファミリーのドラフトモデル活用による推論高速化を実証的に検証している。
EN Empirical study evaluating cross-family speculative decoding for the Polish LLM Bielik 11B on Apple Silicon, using a UAG-extended MLX-LM to enable draft models from different model families for accelerated inference.
arxiv.org →
fallback