
2026/07/05 6:51
GPT-5.5 Codex の推論トークンクラスタリングが性能低下を引き起こしている可能性があります
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
分析の結果、Codex ファミリーにおいて GPT-5.5 に特有の重大な異常が判明した。2026 年 2 月と 6 月 27 日の間、865 セッションから抽出された 390,195 トークン記録を検査したところ、GPT-5.5 の応答は過剰に正確な 516 トークンで終了する傾向があり、さらに 1034 トークンおよび 1552 トークンを周辺にクラスタリングしていた。GPT-5.5 は全応答の 19.3% に過ぎないにもかかわらず、正確な 516 トークンでのイベントの 82% を引き起こしており、非 GPT-5.5 モデルで観察されたレートと比較して約 33.6 倍高い。他のバージョン(GPT-5.4、GPT-5.2、および一部の GPT-5.3 バリエーション)では、これらの固定境界でのクラスタリングは著しく小さい。このパターンは分析深度の大幅な低下と相関しており、平均的な推論トークン強度は 2 月には 268.1 から 5 月には 107 トークン未満まで減少し、P90 も 772 から 344 トークンへと低下した。この異常は、GPT-5.5 の実行が正確な 516 トークンで終了する場合に複雑なコーディングタスクに対して誤った回答を返す過去の問題と関連している。固定トークン数でのクラスタリングは自然な変動ではなく閾値境界に似ており、推論予算のカップ、アクティブルーティングによる截断、スケジューラーの制限、または GPT-5.5 に特有のその他の内部閾値がある可能性を示唆している。この行動はEarlier モデルとの比較で severe な能力低下を示しており、高リスクなプログラミングシナリオにおける GPT-5.5 ファミリーの有用性を制限する可能性がある。専門家からは、これが劣化したサービス階級なのか、特定の内部ロジックなのか、またはその他の原因なのかを明らかにするために即時の調査を要請し、モデルと値ごとにトークンカウントイベントを照会して正確な値の数を比較したり、異なる GPT バージョンで複雑なタスクを再現するたり、正確な 516 トークンの応答とより長い推論出力を分離して行う品質評価を実施するなど、検証手順が提案されている。
本文
Codex のトークン数メタデータにおける異常な集積パターン(gpt-5.5 固有)の報告
要旨
- 現象: Codex のトークン数メタデータにおいて、
モデルの応答がgpt-5.5
に過剰に集積していることが確認されました。reasoning_output_tokens = 516 - その他の固定値: 約 1034 トークン および 1552 トokens 付近にも同様の固定バウンドによるスパイクが見られます。
- 傾向: この現象はモデル固有であり、全体的な推論トークンの使用強度低下と一致しています。複雑かつ高利害のある Codex タスクにおける性能劣化の要因である可能性が高いと考えられます。
- 関連事例: これは Issue #29353 で報告されたタスクレベルでの再現事例(gpt-5.5 がまさに 516 トークンの推論トークンで終了し、誤った解答を返すケース)と関連しています。
- 期間: 2026 年 2 月~6 月にかけての集積的証拠を確認済みです(※この異常は「隠れた Chain-of-Thought の切断」の証明ではなく、「推論予算の閾値制御による振る舞い」と同様のパターンを示しているという限定的な主張です)。
環境情報
- 対象製品: Codex
- 疑わしいモデル: gpt-5.5
- データソース: Codex の
メタデータtoken_count - 分析期間(UTC): 2026 年 2 月 ~ 27 日(6 月まで含む長期集計)
- 関連 Issue: #29353
- Codex Desktop において、
がgpt-5.5
モードで実行され、推論トークン数が正確に 516 に達した時点で短絡的に終了し、正しくない最終解答を返すケースが再現されました。xhigh
- Codex Desktop において、
エビデンスデータ(集計結果)
レスポンスレベル全体の分布
| 指標 | 値 |
|---|---|
| 解析対象のレスポンス記録総数 | 390,195 |
| 含まれるセッション数 | 865 |
の正確なイベント数 | 3,363 |
| 全レスポンスにおける GPT-5.5 の割合 | 19.3% |
| 全「正確に 516」イベントにおける GPT-5.5 の割合 | 82.0% ⚠️ |
| GPT-5.5 の「正確に 516/≥516」比率 | 44.0% ⚠️ |
| GPT-5.5 以外モデルの「正確に 516/≥516」比率 | 1.3% ⚠️ |
モデル別比較(「正確に 516/≥516」の比率)
| モデル | レスポンス記録数 | 「正確に 516/≥516」の比率 |
|---|---|---|
| gpt-5.5 | 75,401 | 44.0% ⚠️ |
| gpt-5.4 | 25,214 | 19.8% |
| gpt-5.2 | 247,575 | 0.34% |
| gpt-5.3-codex | 13,333 | 0.0% |
| gpt-5.3-codex-spark | 26,179 | 0.0% |
月間における「正確に 516」の集積現象の増大推移
| 月 | 「正確に 516/≥516」の比率 | 傾向 |
|---|---|---|
| 2026 年 2 月 | 0.11% | 基線レベル |
| 2026 年 3 月 | 2.45% | 増加中 |
| 2026 年 4 月 | 4.25% | 増加中 |
| 2026 年 5 月 | 53.30% ⚠️ | 急激な集積 |
| 2026 年 6 月 | 35.84% | 依然として高い頻度 |
推論トークンの全体的な使用強度低下
| 月 | 平均推論トークン数 | P90 推論トークン数 | 傾向 |
|---|---|---|---|
| 2026 年 2 月 | 268.1 | 772 | 基線 |
| 2026 年 3 月 | 256.8 | 723 | ⬇️ |
| 2026 年 4 月 | 228.7 | 669 | ⬇️ |
| 2026 年 5 月 | 106.9 ⚠️ | 344 | 急激な低下 |
| 2026 年 6 月 | 168.5 | 515 | 🔄(変動) |
なぜこの現象が疑わしいか
- 逆転する傾向: 2~4 月から 5~6 月にかけて、平均および P90 の推論トークン強度が低下する一方で、「正確に 516」への集積現象が急激に増加しています。
- モデル間の不均一性: この集積はモデル間で均一ではなく、
は全レスポンスのわずか 19.3% を占めるものの、全「正確に 516」イベントの 82.0% を支配しています。gpt-5.5 - 異常な比率差:
の「正確に 516/≥516」比率は、gpt-5.5
以外のベースラインと比較して約33.6 倍も高いです。gpt-5.5 - 固定された閾値: 516、1034、1552 といった特定の整数値に集積することは自然な分布ではなく、反復される内部の閾値境界を示唆しています。
期待される振る舞い vs 実際の振る舞い
| 項目 | 期待される振る舞い(正常) | 実際の振る舞い(異常) |
|---|---|---|
| 分布の特性 | タスクの複雑さに応じて自然的に変化するべき | 特定の値(516 など)への過剰な集積が見られる |
| モデル間の一貫性 | 全モデルで類似した柔軟な分布を持つべき | 特有の固定値スパイクのみ顕著 |
ご依頼内容
Codex チームの方々に、以下の原因があるかのご調査をお願いいたします。
ご調査対象:
が以下のような挙動によって、レスポンスが約 516 / 1034 / 1552 トークン 付近で終了していること。gpt-5.5
- 推論予算(reasoning budget)の制御
- ルーティングロジック
- 切断(truncation)
- フォールバック処理
- スケジューラ
もしこれが意図的な振る舞いである場合、以下の点についてご教示いただくことを推奨します。
- 「正確に 516 トークンとは通常の停止点なのか」
- **「予算上限」**なのか
- 劣化した層の結果なのか
- それとも別の内部閾値を示しているのか
有用な内部検証チェック項目
以下のクエリや評価を実施いただくことで、異常の根拠を明確化できます。
- トークン数の固定値カウント:
を持つ token_count イベントをモデル別にクエリする。reasoning_output_tokens- 0、516、1034、1552 の固定値のカウント数を比較する。
- 比率の計算:
- モデルおよび日付別に
を計算し傾向を分析する。count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516)
- モデルおよび日付別に
- モデル間比較:
- GPT-5.5 を GPT-5.2、GPT-5.4、および Codex 固有のバリエーションと比較する。
- 品質評価(再現試験):
- 複雑なタスクに対応する事例を再現させる。
- GPT-5.2 と GPT-5.5 の間で品質評価を行う。
- 特に以下の 2 種類を分別して評価する:
- 「正確に 516 トークンで終了したレスポンス」
- 「より長い推論プロセスを経て終了したレスポンス」