
2026/09/10 2:24
Qwen 3.8 は GPT-5.5 Pro の推論事前埋め込みを採用しています
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
まとめ
本研究 v1.1 では、教師モデルとして GPT-5.5 Pro を用いて推論プリフィル実験を再実行し、それがより小さな対象モデルに与える影響を評価した。各問題について、2 つの応答が生成された:非プリフィル済みと、GPT-5.5 Pro の推論のうち最初の 1% を対象モデルのチャネルに挿入したプリフィル済みである。成功度は、教師の可視化された答えの対象応答の最初の 100 トークンに含まれる割合により測定され、スコアは単一元(unigram)、2 グラム(bigram)、3 グラム(trigram)のソース再帰デルタ(絶対パーセントポイント変化)の平均として計算された。
評価データセットには、STEM カテゴリ 15 問、非 STEM カテゴリ 15 問、合成パズルカテゴリ 15 問を合計 45 問が含まれていた。主要な結果では、GPT-5.5 Pro の推論プリフィルにより、DeepSeek V4 Flash では -1.17 pp の性能デルタ、Inkling では +0.46 pp、Kimi K3 では +4.54 pp が得られた。Qwen3.8 A95B は全 45 問で +18.18 pp という最大の改善を示し、すべてのカテゴリにわたって最も大きな向上を達成した。カテゴリー別に分けると、Qwen の性能デルタは STEM タスクで +26.99 pp が最高であり、次に合成パズル(+14.75 pp)、そして非 STEM タスク(+12.80 pp)の順であった。
議論では、以前の実験で Qwen が Opus 4.8 へとシフトしていた一方で、今回は GPT-5.5 Pro へ +18.18 ポイントのシフトを示しており、Qwen が Opus からではなく、GPT-5.5 Pro またはそれと密接に関連する GPT モデルから学習したことを示唆している。さらに、Kimi K3 はプリフィルなしで GPT-5.5 Pro と 31.11% の重なり、プリフィルありで 35.65% の重なりを維持しており、GPT-5.5 Pro とのオーバーラップが最も高いが、プリフィルによる性能向上は Qwen に比べて小さい。
本文
Reasoning Prefills v1.1:GPT-5.5 Pro を用いた推論先読み評価
実験概要
「Reasoning prefills」および「Stolen Thoughts」の続報として、教師モデルに GPT-5.5 Proを用いて再評価を行いました。
生成手順
各ターゲットモデルに対して、以下の 2 パターンの回答を生成しました:
- 通常(先読みなし):通常の生成プロンプトで得た回答。
- 推論先読みあり:ターゲットモデルの「推論チャンネル」に、GPT-5.5 Pro の推論内容の**最初の 1%**を挿入して生成した回答。
スコア定義
- 最終的な答え自体は自由な生成により得られています。
- 評価指標:ターゲットモデルによる回答の最初の 100 トークン内で、教師モデル(GPT-5.5 Pro)の答えがどの程度出現するかを測定。
- スコア計算式:unigram、bigram、trigram のソース再現率の平均値。
- Δ(差分):絶対パーセントポイント変化を表します。
全問題の結果 (45 問)
評価対象は計 45 問(STEM 15 問、非 STEM 15 問、合成パズル 15 問)です。
| モデル | n(件数) | 先読みなし | GPT-5.5 Pro 推論先読みあり | Δ(差分) |
|---|---|---|---|---|
| DeepSeek V4 Flash | 45 | 27.30% | 26.13% | −1.17 pp |
| Inkling | 45 | 19.99% | 20.45% | +0.46 pp |
| Kimi K3 | 45 | 31.11% | 35.65% | +4.54 pp |
| Qwen3.8 A95B | 45 | 16.79% | 34.97% | +18.18 pp |
注目点: Qwen3.8 A95B は、推論先読みを導入することでスコアが倍増する劇的な改善を示しています。
Qwen のカテゴリ別結果
Qwen3.8 A95B の各分類ごとの詳細な評価結果です。
| カテゴリ | n(件数) | 先読みなし | GPT-5.5 Pro 推論先読みあり | Δ(差分) |
|---|---|---|---|---|
| STEM | 15 | 19.26% | 46.24% | +26.99 pp |
| Non-STEM | 15 | 20.62% | 33.42% | +12.80 pp |
| パズル | 15 | 10.49% | 25.23% | +14.75 pp |
| 全体 | 45 | 16.79% | 34.97% | +18.18 pp |
考察
1. Qwen の学習ソースの再検証
- 前回の実験では Qwen は Opus 4.8 への変化が僅かでしたが、今回は GPT-5.5 Pro に対して +18.18 ポイントの大幅改善を記録。
- **「合成パズル」**という非公開カテゴリでも顕著な効果が見られたことは、Qwen が Opus からではなく、**GPT-5.5 Pro(またはこれと極めて近い関係にある GPT モデル)**からの学習を行った可能性が示唆されます。
2. Kimi K3 の親和性
- 先読みを施さない場合でも高い値(31.11%)を示した Kimi K3 は、GPT-5.5 Pro との親和性が最も高く確認できました。
- 推論先読みによる改善幅は +4.54 ポイントと限定的でしたが、依然として GPT-5.5 Pro との強い関連性が裏付けられました。