GPT-5.5 Codex の推論トークンクラスタリングが性能低下を引き起こしている可能性があります

2026/07/05 6:51

GPT-5.5 Codex の推論トークンクラスタリングが性能低下を引き起こしている可能性があります

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

分析の結果、Codex ファミリーにおいて GPT-5.5 に特有の重大な異常が判明した。2026 年 2 月と 6 月 27 日の間、865 セッションから抽出された 390,195 トークン記録を検査したところ、GPT-5.5 の応答は過剰に正確な 516 トークンで終了する傾向があり、さらに 1034 トークンおよび 1552 トークンを周辺にクラスタリングしていた。GPT-5.5 は全応答の 19.3% に過ぎないにもかかわらず、正確な 516 トークンでのイベントの 82% を引き起こしており、非 GPT-5.5 モデルで観察されたレートと比較して約 33.6 倍高い。他のバージョン(GPT-5.4、GPT-5.2、および一部の GPT-5.3 バリエーション)では、これらの固定境界でのクラスタリングは著しく小さい。このパターンは分析深度の大幅な低下と相関しており、平均的な推論トークン強度は 2 月には 268.1 から 5 月には 107 トークン未満まで減少し、P90 も 772 から 344 トークンへと低下した。この異常は、GPT-5.5 の実行が正確な 516 トークンで終了する場合に複雑なコーディングタスクに対して誤った回答を返す過去の問題と関連している。固定トークン数でのクラスタリングは自然な変動ではなく閾値境界に似ており、推論予算のカップ、アクティブルーティングによる截断、スケジューラーの制限、または GPT-5.5 に特有のその他の内部閾値がある可能性を示唆している。この行動はEarlier モデルとの比較で severe な能力低下を示しており、高リスクなプログラミングシナリオにおける GPT-5.5 ファミリーの有用性を制限する可能性がある。専門家からは、これが劣化したサービス階級なのか、特定の内部ロジックなのか、またはその他の原因なのかを明らかにするために即時の調査を要請し、モデルと値ごとにトークンカウントイベントを照会して正確な値の数を比較したり、異なる GPT バージョンで複雑なタスクを再現するたり、正確な 516 トークンの応答とより長い推論出力を分離して行う品質評価を実施するなど、検証手順が提案されている。

本文

Codex のトークン数メタデータにおける異常な集積パターン(gpt-5.5 固有)の報告

要旨

  • 現象: Codex のトークン数メタデータにおいて、
    gpt-5.5
    モデルの応答が
    reasoning_output_tokens = 516
    に過剰に集積していることが確認されました。
  • その他の固定値: 約 1034 トークン および 1552 トokens 付近にも同様の固定バウンドによるスパイクが見られます。
  • 傾向: この現象はモデル固有であり、全体的な推論トークンの使用強度低下と一致しています。複雑かつ高利害のある Codex タスクにおける性能劣化の要因である可能性が高いと考えられます。
  • 関連事例: これは Issue #29353 で報告されたタスクレベルでの再現事例(gpt-5.5 がまさに 516 トークンの推論トークンで終了し、誤った解答を返すケース)と関連しています。
  • 期間: 2026 年 2 月~6 月にかけての集積的証拠を確認済みです(※この異常は「隠れた Chain-of-Thought の切断」の証明ではなく、「推論予算の閾値制御による振る舞い」と同様のパターンを示しているという限定的な主張です)。

環境情報

  • 対象製品: Codex
  • 疑わしいモデル: gpt-5.5
  • データソース: Codex の
    token_count
    メタデータ
  • 分析期間(UTC): 2026 年 2 月 ~ 27 日(6 月まで含む長期集計)
  • 関連 Issue: #29353
    • Codex Desktop において、
      gpt-5.5
      xhigh
      モードで実行され、推論トークン数が正確に 516 に達した時点で短絡的に終了し、正しくない最終解答を返すケースが再現されました。

エビデンスデータ(集計結果)

レスポンスレベル全体の分布

指標
解析対象のレスポンス記録総数390,195
含まれるセッション数865
reasoning_output_tokens = 516
の正確なイベント数
3,363
全レスポンスにおける GPT-5.5 の割合19.3%
全「正確に 516」イベントにおける GPT-5.5 の割合82.0% ⚠️
GPT-5.5 の「正確に 516/≥516」比率44.0% ⚠️
GPT-5.5 以外モデルの「正確に 516/≥516」比率1.3% ⚠️

モデル別比較(「正確に 516/≥516」の比率)

モデルレスポンス記録数「正確に 516/≥516」の比率
gpt-5.575,40144.0% ⚠️
gpt-5.425,21419.8%
gpt-5.2247,5750.34%
gpt-5.3-codex13,3330.0%
gpt-5.3-codex-spark26,1790.0%

月間における「正確に 516」の集積現象の増大推移

「正確に 516/≥516」の比率傾向
2026 年 2 月0.11%基線レベル
2026 年 3 月2.45%増加中
2026 年 4 月4.25%増加中
2026 年 5 月53.30% ⚠️急激な集積
2026 年 6 月35.84%依然として高い頻度

推論トークンの全体的な使用強度低下

平均推論トークン数P90 推論トークン数傾向
2026 年 2 月268.1772基線
2026 年 3 月256.8723⬇️
2026 年 4 月228.7669⬇️
2026 年 5 月106.9 ⚠️344急激な低下
2026 年 6 月168.5515🔄(変動)

なぜこの現象が疑わしいか

  • 逆転する傾向: 2~4 月から 5~6 月にかけて、平均および P90 の推論トークン強度が低下する一方で、「正確に 516」への集積現象が急激に増加しています。
  • モデル間の不均一性: この集積はモデル間で均一ではなく、
    gpt-5.5
    は全レスポンスのわずか 19.3% を占めるものの、全「正確に 516」イベントの 82.0% を支配しています。
  • 異常な比率差:
    gpt-5.5
    の「正確に 516/≥516」比率は、
    gpt-5.5
    以外のベースラインと比較して約33.6 倍も高いです。
  • 固定された閾値: 516、1034、1552 といった特定の整数値に集積することは自然な分布ではなく、反復される内部の閾値境界を示唆しています。

期待される振る舞い vs 実際の振る舞い

項目期待される振る舞い(正常)実際の振る舞い(異常)
分布の特性タスクの複雑さに応じて自然的に変化するべき特定の値(516 など)への過剰な集積が見られる
モデル間の一貫性全モデルで類似した柔軟な分布を持つべき
gpt-5.5
特有の固定値スパイクのみ顕著

ご依頼内容

Codex チームの方々に、以下の原因があるかのご調査をお願いいたします。

ご調査対象:

gpt-5.5
が以下のような挙動によって、レスポンスが約 516 / 1034 / 1552 トークン 付近で終了していること。

  • 推論予算(reasoning budget)の制御
  • ルーティングロジック
  • 切断(truncation)
  • フォールバック処理
  • スケジューラ

もしこれが意図的な振る舞いである場合、以下の点についてご教示いただくことを推奨します。

  • 「正確に 516 トークンとは通常の停止点なのか」
  • **「予算上限」**なのか
  • 劣化した層の結果なのか
  • それとも別の内部閾値を示しているのか

有用な内部検証チェック項目

以下のクエリや評価を実施いただくことで、異常の根拠を明確化できます。

  • トークン数の固定値カウント:
    • reasoning_output_tokens
      を持つ token_count イベントをモデル別にクエリする。
    • 0、51610341552 の固定値のカウント数を比較する。
  • 比率の計算:
    • モデルおよび日付別に
      count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516)
      を計算し傾向を分析する。
  • モデル間比較:
    • GPT-5.5 を GPT-5.2、GPT-5.4、および Codex 固有のバリエーションと比較する。
  • 品質評価(再現試験):
    • 複雑なタスクに対応する事例を再現させる。
    • GPT-5.2 と GPT-5.5 の間で品質評価を行う。
    • 特に以下の 2 種類を分別して評価する:
      1. 正確に 516 トークンで終了したレスポンス
      2. より長い推論プロセスを経て終了したレスポンス

同じ日のほかのニュース

一覧に戻る →

2026/07/05 8:41

鼻スプレーで脳の老化を逆転させることに成功した科学者たち

## Japanese Translation: テックス大学医学部ナーシュ K.ヴァシスト医学部の画期的な研究、アショーク・シェッティ医師をリーダーとし、再生医療研究所の下でマドフ・リラヴァーティ・ナラーヤナ氏とマハエダール・コダーリ氏といったシニア研究者が含まれたこの研究は、単純な 2 回投与の鼻スプレーが神経炎症性を逆転させ、脳機能を回復させることを示している。同研究は「細胞外小胞ジャーナル」(15(2): e70232, 2026)に発表され、数週間で炎症低減を示し、効果は数ヶ月持続することが確認された。治療法では、血脳関門を手術なしで回避しながらマイクロ RNA を直接脳組織へ届ける細胞外小胞(EVs)を使用している。細胞レベルにおいて、この治療は神経細胞のミトコンドリアを「充電」し、酸化ストレスを軽減すると同時に、NLRP3 インフラマソームおよび cGAS-STING シグナル経路といった炎症経路を抑制した。行動学試験では、対照群と比較して親しみのある物体を認識する能力や新たな環境を検出する能力に顕著な改善が確認された。シェッティ医師は、その成果が性別間で一貫性があり類似しており、このアプローチを「普遍的」と表現した。国立老人研究所(NIA)による支援を受けながら、特許出願が提出され、これは侵襲的な処置や月単位の薬物療法に代わる最小限の投与 regimes に向けた画期的な進歩を示している。2020 年の約 51 万4000 件から 2060 年には約 100 万件へと倍増するとの予測を踏まえれば、新たな認知症患者数の増加が待つのであり、このタイミングでの進展は意義深いが、世界規模で増大しつつある認知障害の負担を軽減しながら、従来の介入に伴うリスクを最小限に抑えるための変革的な一歩を提供している。

2026/07/05 4:41

Fable を用いた Command & Conquer: Generals の macOS、iPhone、iPad 向けネイティブ移植

## Japanese Translation: Zero Hour は、Apple Silicon Mac、iPhone および iPad 向けに公式ネイティブアプリケーションとして利用可能となり、DirectX 8 エンジンを Metal に変換する堅牢な翻訳パイプラインを採用しており、エミュレーションを必要とせずに動作します。このポータブルは fbraz3 が作成した GeneralsX プロジェクトを基盤とし、タップ選択、ドラッグボックス選択、ピンチによる拡大縮小など、基本的なタッチ操作を統合しています。macOS へのインストールには、外部的アセット(約 2.7 GB のバンドル)を抽出するために Steam コピーの所有が必要ですが、iOS バージョンはこれらのアセットがアプリケーションバンドル内に含められており、独立した体験を実現しています。開発プロセスには、Ammaar Reshi の指揮のもとで Claude Code が大幅な工数を投入し、MoltenVK や GPL v3 ライセンス付きコードなどのオープンソースツールを活用して、レガシーの PC アーキテクチャと最新の ARM64 ハードウェアを接続しました。Xcode 設定や特定のビルドスクリプトなどインストール前提条件が関わりますが、ユーザーはモバイルデバイス上で高性能の実時間戦略ゲームプレイを楽しむことができます。ただし、iOS ユーザーは長時間セッション中の潜在的なメモリ制限や、稀なバックグラウンド化時クラッシュについて留意する必要があります。

2026/07/05 1:51

グーグル・ブックスなどの全書籍スキャンへの$20万ドルの賞金(2025年)

## 日本語訳: 20 万ドルの賞金が設定され、制限されたデジタルコレクションから全文を抽出することを奨励する。特に、検索スニペットのみでアクセス可能なすべての Google ブックスのスキャン画像を対象とし、同規模のその他のソースからのコレクション(AI 企業によって組み立てられたものを含む)も対象とする。優先度は、著しく貴重書を集めた活動に置かれる。また、ソース組織(例:Google)内で働き、またはその組織へのアクセスを有する際にデータを抽出することに成功した潜在的な貢献者は、「伝説的なアーキビスト」として称賛される可能性がある。研究者および開発者は、検索スニペットから完全な読み取れるドキュメントへと変換するためのスケーラブルな手法について協力することを招待される。応募者の場合は、プロトタイプしか持っていない場合でも、具体的なボランティアガイドラインを注意深く読むよう促される。スケーラブルな手法またはプロトтипを持つ者は、成功したツールのスケーリングのための直接的な支援を受けられるよう、早期に管理者に連絡することが推奨される。今後の取り組みは、AI 企業などの大規模なソースからの主要アーカイブに集中する可能性が高い。通信は Matrix チャット(#annas:archivecommunication.org)を介して行われ、提交物は adguard-mail.com や mailinator.com のような特定のメール宛先に送付することで確実な配信が可能となる。

GPT-5.5 Codex の推論トークンクラスタリングが性能低下を引き起こしている可能性があります | そっか~ニュース