ACRL：訓練-推論エンジン乖離の適応制御でFP8量子化下のRL学習を安定化Huawei's ACRL framework monitors the discrepancy between training…
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
HuaweiのACRLは、LLMのRL学習でFSDP/vLLM間の精度差（BF16 vs FP8）による実質的なoff-policy化を適応的に補正し、トークン単位の勾配重み調整でBF16基線を上回る精度をわずか0.1%のオーバーヘッドで実現する。
Huawei's ACRL framework monitors the discrepancy between training (FSDP/Megatron) and inference (vLLM/SGLang) engines caused by FP8 vs BF16 precision gaps, then adjusts per-token gradient weights to prevent training collapse while outperforming BF16 baselines across 3B–32B Dense and MoE models.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (zenn.dev) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (zenn.dev).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
訓練と推論の乖離
Huaweiが提案したACRLは、LLMの強化学習で訓練エンジンと推論エンジンの違いから生じる乖離を監視し、学習の不安定化を抑える枠組みだ。FP8量子化を用いる条件でも、BF16基線を上回る精度を達成したとされる。
実質的なoff-policy化
訓練側ではFSDPやMegatronがBF16精度で計算し、rollout生成側ではvLLMやSGLangがFP8量子化で高速生成を行う。両者ではカーネル実装、attentionの計算順序、MoEのルーティング処理が異なり、ログ確率にもずれが生じる。
GRPOは理論上、訓練ポリシーとrolloutポリシーが一致するon-policy学習を前提とする。しかし実際には両ポリシーが一致せず、実質的にoff-policyとなることで学習が不安定化し、崩壊につながる。
トークン単位の補正
ACRLは訓練と推論の乖離度を適応的に監視し、その状態に応じてトークンごとの勾配重みを調整する。計算オーバーヘッドは0.1%とされている。
既存のToken-level TISは、重要性比ρ＝π／μをトークンごとに計算し、閾値Cで打ち切る。ただし、シーケンス全体の乖離を扱わないため、勾配推定にバイアスが生じる。Sequence-level MISは、シーケンス全体の比率を計算する方式である。
確認された範囲
有効性はGRPO、PPO、DAPOの3アルゴリズムで確認された。対象は3Bから32Bまでの4モデルで、DenseとMoEの両アーキテクチャを含む。ACRLは、異なる実装と計算精度を使う訓練・推論環境のずれを、勾配重みの適応制御によって補正する。
Training–Inference Discrepancy
Huawei’s ACRL framework addresses instability in reinforcement learning for large language models when training and rollout generation use different engines and numerical precision. This matters because learning intended to be on-policy can become effectively off-policy, potentially causing training collapse.
Training may use FSDP or Megatron with BF16 calculations, while rollout generation may use vLLM or SGLang with FP8 quantization. The engines can also differ in kernel implementations, attention calculation order, and MoE routing. These implementation and precision differences can produce small discrepancies in log probabilities.
On-Policy and Off-Policy
GRPO theoretically assumes on-policy learning: the training policy, πθ, and rollout policy, μθ, should match. In practice, the training–inference discrepancy means π and μ can differ, making learning unstable.
Token-level TIS, or Truncated Importance Sampling, calculates an importance ratio, ρ = π / μ, for each token and truncates it at a threshold C. However, it applies the ratio only at token level and does not account for divergence across the complete sequence, resulting in a biased gradient estimate. Sequence-level MIS, or Masked Importance Sampling, instead calculates a ratio for the full sequence.
ACRL Adaptive Control
ACRL adaptively monitors the degree of discrepancy between the training and inference engines. It then adjusts gradient weights on a per-token basis to compensate for the mismatch.
According to the reported results, this adaptive correction prevents training collapse under FP8 quantization and achieves accuracy above the BF16 baseline. Its stated computational overhead is only 0.1%.
GRPO, PPO, and DAPO
The framework’s effectiveness was confirmed with three reinforcement-learning algorithms: GRPO, PPO, and DAPO. Testing covered four models ranging from 3B to 32B parameters.
The reported evaluation also included both Dense and MoE architectures. Across these settings, ACRL compensated for the effective off-policy behavior created by differences between BF16 training engines and FP8 inference engines.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoBF16で訓練してFP8で推論すると、同じモデルなのにoff-policyになるって何？Why does training in BF16 but generating in FP8 make the same model effectively off-policy?
- TECHガイドTECH Guideこの記事では、計算精度や実装の差で出力確率がずれ、訓練側と生成側の方針が一致しなくなるとしておる。そのずれが学習崩壊につながるのじゃ。The article says precision and implementation differences shift output probabilities, so training and rollout policies no longer match. That mismatch can make training collapse.
- ポコPoko料理で、練習したレシピと本番の調理器具が微妙に違う感じかな？LLMを強化学習する人の助けになるの？Is it like practicing a recipe with slightly different equipment from the real kitchen? Would this help people doing RL training for LLMs?
- TECHガイドTECH Guide近いのう。ACRLはずれを監視し、トークンごとの勾配の重みを調整する仕組みで、本文では複数の手法やモデルで有効性を確認しておる。That’s close. ACRL monitors the mismatch and adjusts gradient weights token by token; the write-up reports it worked across multiple algorithms and models.
- ポコPokoつまりACRLは、訓練と推論の小さな食い違いを見張って、FP8でもRL学習を安定させる調整役なんだね！So ACRL is a regulator that watches small training–inference mismatches and helps stabilize RL training even with FP8. Nice!
- TECHガイドTECH Guideそうじゃ。示された結果ではBF16基線を上回り、負荷は0.1%じゃが、従来のトークン単位補正はシーケンス全体の乖離を見ない点に注意じゃよ。Exactly. The reported results beat the BF16 baseline with 0.1% overhead, though conventional token-level correction does not capture mismatch across the full sequence.
