NVFP4 RL トレーニング：安定性とスループットの最適化と課題

RL トレーニングシミュレーターでは、サンプリャーが継続的にロールアウト（試行経路）を生成し、トレーナーがその政策を更新する非同期 RL システムをモデル化しています。政策ミスマッチは、オフポリシー（古いロールアウト）および量子化誤差の両方の要因から生じ、この累積的な影響が「政策ドリフト」として現れます。もしこのドリフトが最適化アルゴリズムの是正能力を超えてしまうと、最終的に得られる報酬価値の低下を招きます。

• RL と効率化のための調整パラメータ: オフポリシー設定、重み同期、バッチサイズ、および時間視認（horizon）といった要素は、システムの非同期性と政策の古さ（staleness）の度合いを制御します。MXFP8 および NVFP4 はトレーニングおよびロールアウトの効率性を向上させます。

  • 「Backward Pass でのデクアンタイズ（復元化）」: バックワードパスにおける精度向上に不可欠です。
  • 「BF16 を最終的な精度としつつ」: 安定性を確保する標準的なアプローチです。
  • 「共有エクスパート（Shared Experts）」の採用: 数値的安定性を高めるために効果的です。

• 使い方: アルゴリズムおよびシステムパラメータを調整することで、スループットと安定性のトレードオフを探求します。非同期度を高めたり精度を下げてリソース利用率を改善した後、安定化技術が安定性マージンをどのように回復させるかを観察します。究極の目標は、ドリフトが加速し報酬が崩壊する臨界閾値を超えずに、かつスループットを最大化させるような構成を見出すことです。

RL の本質と「スループット vs 安定性」の綱引き

RL の本質とは、行動とその結果を通じてモデルに学習を教えることにあります。RL ループにおいて、モデルは行動を行い報酬を受け取り、その結果として各行動の発生確率を更新します。現実世界の LLM トレーニングにおいては、他のロールアウトがサンプリングされつつあっても、観測データが入ってすぐに政策を更新したいという欲求があります。しかしながら、「長期的視野にわたるマルチプレイヤーロールアウト」において 1 つのロールアウト完了の間には何十ものトレーニングステップを踏む場合もあるため、「スループット」と「安定性」の綱引きが生じます。

多くのスループット向上手法（例：低精度量子化）は、サンプリングされた政策と訓練された政策間の乖離を引き起こしかねず、学習速度を遅らせたりトレーニングを不安定化させたりする可能性があります。量子化はそのトレードオフを象徴しており、低精度フォーマットによりハードウェアでの通信や計算が早まる一方、安定性に悪影響を及ぼします。

• 高速かつ高精度な低精度フォーマットの重要性: NVFP4 といった形式（NVIDIA Rubin GPU では 16 ビットトレーニング比で最高 9 倍の演算速度が達成可能）は、モデルトレーニングおよび推論それぞれの分野でスループットの大幅増加を驱动しました。
• 既存の制約: 安定したネイティブハードウェア対応の 4 ビット形式はまだ存在せず（INT4 QAT レシピは 16 ビット活性化を使用し、MXFP4 レシピは MXFP8 アクティベーションを使用）、MXFP4 を重みとアクティベーション双方に適用するアプローチでは特に困難です。RL コミュニティ内ではサンプリングとトレーニングの不安定性が相乗効果を発揮するため、この点に配慮が必要です。

ベースライン：安定したトレーニングダイナミクスを持つ初期レシピ

一貫性のある比較のため、すべての実験はQwen3-30B-A3 モデルを使用し、DAPO-math-17k データセット上で 8k シークエンス長を用いてトレーニング済みモデルに基づいています。

なぜ NVFP4 の事前トレーニングレシピは RL では不十分なのか？

NVIDIA による NVFP4 プリトレーニングレシピは自然な出発点ですが、事前トレーニングと RL は故障モードが異なります。

• 事前トレーニング: グラディエント信号は高密度であり、多数のトークンで繰り返し平均化されます。確率的丸め（stochastic rounding）により勾配の量子化が概ね無偏になるようにします。
• RL シーテング: 政策勾配はサンプリングされたロールアウト、アドバンテージ推定、報酬推定、KL 正則化、および政策の古さに依存しており、もともとノイズを含む推定量です。量子化による誤差が小さく抑えられ、個々の更新ごとの真の政策勾配信号を悪化させない程度でなければならないため、単に無偏であるだけでは不十分です。

ベースラインレシピの詳細

ベースラインレシピでは、MoE 層のみを量子化し、他のすべての層は高精度な BF16 を維持します（MoE エクスペルは約 97% のパラメータを占めるため）。

• 実行戦略: フォワードパスは NVFP4 で執行し、バックワードパスを BF16 で維持します。
• アクティベーションの量子化: テンソル全体に対するグローバル FP32 スケールを使用しません。代わりに **トークン単位での活性化スケーリング（per-token activation scaling）**を採用します。
  • 各トークンは隠れ次元ごとに自身の FP32 スケールを計算し、量子化は各トークンに局所化されます。
  • スケールを観測された活性化から直接計算するため、別途キャリブレーションステップ也不需要です。
• 実装: TransformerEngine、cuDNN、FlashInfer、SGLang の各コンポーネントでオープンソース化されています。

グラジエントの安定性を高める：デクアンタイズド・バックワード

トークン単位の NVFP4 レシピを使用すると、トレーニング中にグラジエントノーマのスパイク（急激な増加）が観察されました。これはフォワードパスで NVFP4 を使用しながら、バックワードパスで BF16 精度の量子化とは異なる関数の微分を計算していることに起因します。

このチェーンルールの一貫性不整合を緩和するために、「デクアンタイズド・バックワード（dequantized backward）」手法を採用します。

• 仕組み: バックワードパスで BF16 精度ではなく、フォワードパスで使用された正確な量子化テンソルの BF16 デクアンタイズド値を使用します（例：( y = x \cdot DQ(Q(w_{bf16})) )）。
• 効果: バックワードパスは依然として BF16 オペランドを使用しますが、そのオペランドはフォワードパスで行われた NVFP4 量子化決定を反映しています。これにより、高精度なバックワードパスと量子化フォワードパスの不整合が解消されます。

結果

• MXFP8 での検証: MXFP8 バックワード全体のトレーニング段階において、よりクリーンでノイズの少ないグラジエントを実現し、安定性が向上しました。
• NVFP4 での検証: NVFP4 はトレーニングダイナミクスを複雑にしますが、我々の手法は高精度バックワードベースラインよりも速い学習速度を実現しつつ、大規模グラジエントスパイクを大幅に減少させました。

インプリメンテーション

この機能を TransformerEngine にオープンソース化し、ユーザーが量子化されたバックワードとデクアンタイズド・バックワードの間に簡単に切り替えられます。トレーニング中のデクアンタイゼーションオーバーヘッド削減により、ピークメモリ消費量を**70%**も削減できました（例：入力 2k×2k、出力特徴 8k、dtype=bf16 で、メモリ使用量が 150MB から 45MB に減少）。

RL 用重みとアクティベーションのための「Four-Over-Six」

NVFP4そのものの限界に関連するさらなる課題として、「Four-Over-Six（4/6）」手法があります。通常、パラメータを ( \pm0.5, \dots, \pm4 ) などの倍数として表現できますが、誤差の範囲が 1/6 に達します。「Four-Over-Six」により最大の可能な誤差は範囲の1/8に低下します。

• 適用範囲: 事前トレーニングではアクティベーションのみでしたが、RL においては重みにも適用します。これは RL で不均衡な影響を与えるためです。
• 課題: 適応スケーリングの計算には高いオーバーヘッドがあり、ストールを引き起こす可能性があります。
• 解決策: データ型変換と

  FP4*FP8

  計算を FP16で無損失に実行し、ハードウェアネイティブな PTX 操作を使用します。

インプリメンテーション

トレーニングおよび推論スターック全体で、ビット完全な（bit-exact）4/6 インプリメンテーションと最適化された FP16 高速パスをオープンソース化しました。

*   TransformerEngine 4/6 レシピ / 最適化済み FP16 コントラクト
*   FlashInfer 4/6 レシピ / CuTe DSL 4/6 MoE カーネル

効果: 図 17 より、4/6 の追加は NVFP4 RL と比較して参照 KL（Kullback-Leibler ダイバージェンス）を有意に安定化させます。

選択的層精度：重要な場所にだけ予算をかける

あらゆる低精度レシピで重みとアクティベーションすべてに同じ精度を使用することはしません。以下の戦略により、モデルと利用可能なメモリの最適なトレードオフを図ります。

• 最後の少数の層: 高次元（BF16）に保持します（通常は約 15%）。
• 共有エクスパート（Shared Experts）: アクティブとなるため高精度に保つことが効果的です。

各コンテキストでモデル固有の量子化ハンドリングを行う naïve なアプローチは誤りが生じやすいので、複雑性を最小化するインフラストラクチャを導入しました。

関連 Issue/PR: miles#614, #1054, #1261 / sglang#18742

全てを統合する：最終レシピと効果

これらの最適化を実装・統合した後、組み合わせたレシピの安定性を検証しました。どの量子化ランもハイパーパラメータチューニングを行わず、BF16 の置き換えとしてそのまま使用しています。

• 結果: すべての 3 つの最適化（デクアンタイズド・バックワード、4/6 アルゴリズム、選択的層精度）を適用すると、グラジエントノーマは驚くほど安定します。
• 報酬曲線: BF16 報酬曲線を密に追跡し、政策ドリフトによる崩壊を防ぎつつスループットを維持できます。

楽しい副作用：オンライン NVFP4 サービング

同じロールアウト量子化パスにより、訓練済みチェックポイントに対してオンラインポストトレーニング量子化を用いてモデルを提供できます。

# SGLang での使用例
serving_command --quantization nvfp4_online

• メリット: キャリブレーションや QAT、または別のモデル変換パイプラインを実行することなく、訓練済みチェックポイントを効率的にデプロイできます。
• 効果: 図示した通り、FP8 デプロイトと我々の NVFP4 量子化デプロイ間の相関は .924 です（GLM 5.1 ベンチマーク）。

最終的な考察

将来の改善点

• アクティベーションのライブ量子化: スケール因子を見つけるためのキャリブレーションオーバーヘッドを回避する、MXFP8 アクティベーションの使用や将来ハードウェアでのサポートなどが求められます。
• トレーニング環境との共設計: 低精度トレーニング独自の課題（オプティマイザ設計など）への対応が期待されます。
• オープンソースへの貢献: コミュニティ全体で共有されることが最善の道です。

結論：一歩目の罠（The One-Step Trap）

この仕事では主にトレーナーとサンプリャー間の相互作用に焦点を当てましたが、最も重要な疑問は部品の相互作用から生まれます。RL を NVFP4 で行うことが簡単なら、何も書いたりオープンソース化したりする必要はありませんでした。

「苦い教訓（bitter lesson）」と同様に、複雑なダイナミックシステムを局所的予測の用語でモデル化することはしばしば罠です。一歩目のアプローチ（単純に各コンポーネントを最適化する）は簡単ですが、人間とモデル間の相互作用ダイナミクス、および非局所的長期的価値を理解するには不十分です。

参考文献

1. Composer 2 Technical Report, Cursor Research Team.
2. Pretraining Large Language Models with NVFP4, NVIDIA.
3. Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling, Cook et al.
4. Scalable Training of Mixture-of-Experts Models with Megatron Core, Yan et al.
5. DAPO: An Open-Source LLM Reinforcement Learning System at Scale, Yu et al.

引用方法

@article{li2026nvfp4rl,
  author = {Ziang Li and humans\& ai},
  title = {The 4-bitter Lesson: Balancing Stability and Performance in NVFP4 RL},
  journal = {humans\& ai Blog},
  year = {2026},
  month = jul,
  note = {https://humansand.ai/blog/nvfp4-rl.html}
}