LLM の RL で「難問解決」を学ぶ：諦めない精神（NGU）とマシュー効果の克服

目次

• あなたの評価指標が実際に何を測っているのでしょうか？
• マシュー効果の原因は何でしょうか？
• 難問には決して諦めない (Never Give Up: NGU)
• 非同期 RL の陳腐化と NGU への対策
• より大きな規模での NGU：数学問題
• 異なる規模での NGU：コード生成
• マシュー効果は「初見の優位性バイアス」そのものです
• 限界点について
• 結びに

---

あなたの評価指標が実際に何を測っているのでしょうか？

良い RL プラクティショナーなら一度は、評価曲線の上昇を眺めたことがあるでしょう。しかし、平均化されたスコアには隠れた事実があります。

Olmo 3.1 RL-Zero Math のトレーニングによる AIME 2025 の評価結果を分析します。

• 総合的な数学能力が本当に向上したか？ → その真偽を検証します。
• 当社の指標は、AIME 問題 30 問に対する平均スコアです。これを難易度 3 レベルに分解して評価します：
  1. Hard (難しい): 初期（RL 前）モデルの

     pass@32

     が 0 の問題。
  2. Medium (中程度): 残りの問題を解答通過率に基づき、均等に分割。
  3. Easy (簡単): 解答通過率が高いため、容易と分類される問題。

初期性能の分布（RL 前モデル）

各サブセットの

pass@1

平均値は以下の通りです：

• Hard: 0%
• Medium: 3.8%
• Easy: 22.7%

予想される変化： 難易度ごとにどのように性能が向上するか？

オルム 3.1 RL-Zero の実測結果

評価を「簡単な問題」と「難しい問題」に分けて分析すると、以下のような乖離が見られました：

• Easy (簡単): 劇的な向上。
• Hard (困難):

  pass@32=0

  で開始し、ほぼ

  pass@32=0

  で終わる。改善はみられません。

重要な結論：平均化の評価指標の危険性 多くの改善が「容易な問題」で起こっているため、最も困難な問題は進歩していませんという事実に目が向かない状況です（右側プロット参照）。

マシュー効果とは？

RL におけるこの現象を 「マシュー効果」 と呼びます。

• RL はタスク性能を改善します。
• しかし、改善量はモデルの初期能力に比例するため：
  • Easy: さらに容易になる（Good）。
  • Hard: 難易度を保ったまま残ってしまう（Bad）。

マシュー効果の原因は何でしょうか？

この問題の原因は GRPO にあると推測されますが、根本的なメカニズムは 「信号損失」 です。

• $k$ サンプルされた完了（completion）の中で正しい解答を得られなかった場合、勾配が得られず改善できません。
• 解決策の試み：
  1. より多くの完了をサンプリングする（$k$ を大きくする）。
  2. 特権情報を利用する。
  3. カリキュラム学習を導入する。

$k$ の値による性能比較の実験検証

GSM8k Platinum で Qwen 2.5 0.5B Instruct をトレーニングし、初期

pass@1

でデータを難易度別（簡単 25%・中程度 10%・難しい 5%）に分割して検証しました。

• バッチサイズは固定。$k \in {4, 8, 16, 32}$ を変化させます。

発見：小さい $k$ が難しい問題を解くのに優れている

直感に反しますが、**$k=4$（少ない完了）**の方が難しい問題の解決に適しています。

• $n=8, k=4$ の設定が、硬い問題の解決において最も性能が良いです。
• 逆に、$n=64, k=32$ の設定は、計算リソースを浪費している可能性があります。

なぜ $k=4$ が最適なのか？（計算リソースの配分）

トレーニングバッチ内のフィルタリング効率に起因します。

• 大きな $k$ ($k=32$) の問題点：
  • 非常に難しい問題の正解を見つける確率は高まりますが、簡単な問題に対する「稀な誤り（False Negative）」も拾ってしまいます。
  • 計算リソースの浪費：簡単な問題はすぐに解決できるはずなのに、32 回の試行をすべて実行してフィルタリングします。
• 小さな $k$ ($k=4$) の長所：
  • 4/4 で解決された問題は容易にフィルタリングできます。
  • 簡単な問題が稀な誤りを受ける場合でも、計算リソースを最小限に抑えられます。

転換点（Transition Point）の存在

• 初期段階: $k=32$ は難しい問題に対する稀な正解を見つけるのに優れています。
• 転換点（ステップ 約 200）以降: $k=4$ の方が性能が良くなり、$k=32$ に押されます。

核心の議論 マシュー効果の原因は単なる「難しい問題のサンプリング不足」ではなく、**「容易な問題に対して過度の計算リソースを費やしている点」**にあります。 我々はこれを 「信号効率（Signal Efficiency）」 の観点から捉えます。

難問には決して諦めない (Never Give Up: NGU)

目標は以下の通りです：

• 簡単な問題: 小さい $k$ を使用し、迅速にフィルタリングする。
• 難しい問題: 大きな $k$ を使用し、解決のチャンスを広げる。

Never Give Up (NGU) は、非同期 RL サンプリングに適応したこの戦略を実現する手法です。

NGU の仕組み

1. 初期サンプリング: 小さな $k$ で開始します。
2. フィルタリング: プロンプトが最初の $k$ 完了で解決された場合、トレーニングを実施。
3. NGU ロジック（諦めない）:
   • もしプロンプトが $k/k$ の完了で未解決の場合、決して諦めずより多くの完了をサンプリングするためにプロンプトジェネレーターに戻します。
   • 問題解決時、古い完了と合わせて NGU ラウンド全体（$k \times \text{rounds of NGU}$）の完了を使用してトレーニングを行います。

サンプル数の分布

確率 $p$ で失敗する場合は再試行を繰り返すため、サンプル数の分布は幾何分布になります。

• 期待サンプル数：$\frac{k}{1-p}$（解決しない場合）。

適応性による性能向上

• カリキュラム学習との比較: オンラインで行う適応的な手法の方が優れています。トレーニングが進むにつれて、容易な問題は難しくなり（フィルタリングしやすくなる）、難しい問題は簡単になるためです。
• GSM8k での実績: NGU ($p=0.9, k=4$) は、標準的な GRPO のすべての $k$ 値を持つバージョンよりも性能が良いです。
  • 特に最も困難なサブセットで顕著な向上が見られます。

NGU のメリット

• トレーニング初期：難しい問題を再試行させ、$k=32$ と同等の性能を発揮。
• トレーニング後期：容易な問題に対して計算リソースを過剰消費せず、$k=4$ の速度でフィルタリング。

非同期 RL の陳腐化と NGU への対策

NGU を適用すると、「陳腐化した完了（Stale Completions）」という課題が発生します。

• 正解を得るために複数のラウンドを必要とする場合、初期 $k$ 完了はトレーニング時点では古くなりすぎてしまいます。
• 陳腐化されたネガティブサンプルは LLM と RL に有害です。

対策：年齢閾値とフィルタリング

完了の年齢閾値（例：$T=4$）未満のものをフィルタリングすることが重要です。 しかし、これにより GRPO ベースラインの問題が新たに発生します。

報酬計算におけるジレンマ

• シナリオ: 4 つの陳腐化されたネガティブ完了、3 つの新しいネガティブ完了、1 つの新しい正解がある場合。
  • GRPO ベースライン設定 $\frac{1}{8}$: 正解を稀有な現象として扱うため、報酬を大きく下げます。
  • 最新 4 つのみでトレーニングする場合: グループ全体の報酬がゼロになり（$\frac{7}{8} - \dots = 0$）、学習が進まず問題が発生します。

解決策の選択肢

ベースラインからフィルタリングされた完了をどう扱うか？

• Ignore: フィルタリングされた完了は無視する。
• No Rescale: ベースライン（報酬スケール）を保つ。
• Anchor Pos: 正解をアンカーとして扱い、ネガティブアドバンテージを $\frac{7}{3}$ 倍して全体的な報酬を 0 に維持する。

推奨: トレーニングしなくても、GRPO ベースラインのために利用可能なサンプルを使い尽くすことが理にかなっています。

より大きな規模での NGU：数学問題

大規模な数学 RL セットアップ DeepScaler（Qwen 3 4B ベース） に拡張しました。

• ベースライン: 強力な GRPO ($k=16$)。
• 結果: NGU がさらに性能を向上させました。
  • 特に AIME + BRUMO 2025 の評価で最も困難なサブセットにおいて顕著な改善が見られました。

AIME 2025 と BRUMO 2025 での分析

• 約 120 H100 時間のトレーニング後に最終評価を行いました。
• 初期モデルの

  pass@32

  （難易度）ごとに評価結果を分割しました。

マシュー効果の緩和 NGU は難しい質問の解決を助けつつ、容易な問題において性能を低下させないという効果を発揮します。

異なる規模での NGU：コード生成

コード RL は数学とは根本的に異なります。

• 数学: バイナリ検証（正解/不正答）が一般的。
• コーディング: 多くのテストを含み、単一の問題内でも「簡単なテスト」と「難しいテスト」が存在します。解決するには両方をパスする必要があります。

特に困難なセットアップ Manufactoria を検討します。

Manufactoria の停滞と NGU

標準的な GRPO は最終的に**停滞（Stagnation）**してしまいます：

• 一部のテストは改善しますが、すべてのテストにパスできなくなります。
• テストを難易度ごとに分割すると、明らかなマシュー効果が見られます。
  • Easy: ほぼ完全解決。
  • Medium: トレーニング信号が振動し続ける（部分的に解決・未解決）。
  • Hard: 改善せず。

なぜ停滞するのか？（信号効率の観点）

GRPO はトレーニング信号の大半を、部分的に解決された中程度のテストに再訪させ、それらをわずかに解いたり解かなかったりで振動させます。これにより計算リソースが浪費されます。

NGU がもたらす変化

もし最初の $k$ つの完了が $\frac{7}{12}$ のテストをパスする場合：

• NGU は次の $k$ つの完了を受け付けるには、それらが $\frac{7}{12}$ よりも多いテストをパスしている必要があります。
• モデルは逐次的に性能を上げるよう迫られます。

NGU のコード RL での成果

• GRPO + NGU は停滞せず、より難しいテストの解決を継続します。
• 最終的にある問題に対して、すべてのテストに完全にパスし始めます。
• 全体的な性能（組み合わせ）は標準的な GRPO では停滞しますが、NGU では停滞しません。

マシュー効果とは「初見の優位性バイアス」そのものです

マシュー効果が LLM が初期状態に基づいて特定のタスクを解決する傾向にある 「初見の優位性バイアス（Primacy Bias）」 と似ていると指摘されているかもしれません。

• これは、早期サンプルの問題により軌道外れる可能性のある深層強化学習におけるバイアスです。

可塑性は原因ではありませんか？

結論：いいえ。 マシュー効果の原因はニューラルネットワークの可塑性（plasticity）ではありません。

検証実験：停滞したチェックポイントからの回復

• GRPO チェックポイントを 6000 ステップまで停滞させた状態から開始しました。
• 戦略 A: すべてのテストにパスした報酬（all-tests）のみを使用。
• 戦略 B: NGU を追加し、個々のテストごとの報酬を維持。

結果

• Manufactoria のコード RL でさえ、マシュー効果は可塑性の問題ではありませんでした。
• 非常に停滞したチェックポイントから始めても、両方の方法（全パス報酬のみ、または NGU を適用）でパフォーマンスを回復させることが可能です。
• LLM は一般的に早期の不良サンプルから回復できることを示しています。

限界点について

Never Give Up (NGU) の直感は、「RL トレーニングが容易な問題を迅速にフィルタリングすることで計算リソースを再配分できる」という点にあります。

• 適用前提: タスクが非常に難しい問題に大きく偏っている場合、NGU はおそらく効果的ではありません。

なぜなのか？

NGU の「サンプル→待機→さらにサンプルする」というプロセスは、最初から $\frac{k}{1-p}$ をサンプリングするよりも時間がかかります。

• 初期サンプルが不必要にオフポリシーになりやすく、学習信号が悪化します。
• 学習速度が遅くなる可能性があります。

注意点: データ分布に対して適度な $k$ が既にわかっている場合は、NGU の効果は限定的かもしれません。

結びに

このブログ投稿では以下のことを明らかにしました：

1. マシュー効果：標準的な RL は最も難しい問題に対して不釣り合いに低い性能をもたらします。単純なスカラー値（平均スコア）だけでは LLM の正確な評価には不十分です。
2. NGU (Never Give Up): 容易な問題に費やす計算リソースを削減し、それらを難しい問題へと再配分するシンプルな方法です。困難なタスクにおいて著しい改善をもたらします。

今後の研究としては、より複雑なマルチステップやエージェント型環境を検討し、RL がどのようにモデルの分布を変化させているかについて、さらに深い理解を得るよう試みることが望まれます。

謝辞

• 共著者: Hamish, Nathan, Aaron へ深く感謝。
• 助言をくれた友人たち: Costa, Sam, Finbarr, Dima, Adrien（イラッとした部分も含め）。
• フィードバック提供者: Hamish, Nathan, Adrien。
• 計算リソース提供者: Ai2 様（素晴らしいステッカーや優秀な同僚たちも含めて感謝）。
• グラフ作成: ロボット仲間 Sonnet と Sol の尽力により、plotly を使用して作成しました。

引用方法

@misc{noukhovitch_ngu_2026,
  title = {Learning to Solve Hard Problems in RL for LLMs by Never Giving Up},
  url = {https://arxiv.org/abs/2609.13443},
  author = {Noukhovitch, Michael and Ivison, Hamish and Lambert, Nathan and Courville, Aaron},
  month = sep,
  year = {2026},
}