2026/08/01 0:29
AI の推論が間違った理由で正しい結果に至っているのか？
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
最近の研究は、大規模言語モデル（LRM）が真の推論ではなく、「機智なショートカット」や表面的なパターンを通じて回答を生成することが多く、この現象を「思考の錯覚」と呼んでいることを示している。2024 年から 2025 年にかけて行われた NYU やノースイースタン大学などの機関による調査では、モデルの内部の「思考ステップ」のうち最大で 60% が最終的な回答に対して因果的にほとんど影響がないことが明らかになった。実験では、正当な推論の痕跡を無関係なテキストあるいは意味のないフィラートークンに置き換えても高いパフォーマンススコアが得られることが示された。これは、モデルが「願望的な暗記」といった表面的なパターンに依存している可能性を示唆しており、研究者のメレニー・ミッチェル氏は、ラベルが理解を示しているように見せるが実際に確立されていない理解が伴っていることに言及している。
このようにしながらも、OpenAI や Google DeepMind といった主要企業は戦略を転換し、ユーザーを誤導する可能性がある生の内部痕跡を公開する代わりに、2024 年以降に改訂された要約を提供するようになった。セバスティアン・ビューベック氏のような一部の専門家は、GPT-5.5 などの新しいモデルはこれらの早期の批判には苦しんでいないと主張するが、多くの研究家の間で合意されているのは、内部の説明に頼るのではなく、結果に対する厳格な検証を優先することである。ウィリアム・メレルリル氏他による指摘のように、思考連鎖（chain-of-thought）の出力が実際の推論プロセスに忠実であるという保証は存在しない。したがって、科学コミュニティはこれらのブラックボックス機構を解明することに固執する姿勢を警告し、地動説のような歴史的な「盲目の道」に似ていると比喩しており、模擬された思考プロセスを理解することよりも正確な検証方法を優先すべきであると示唆している。
本文
AI「推論」の真実と幻：科学者の視点から
はじめに：AI 推論の行方
- 現状の矛盾
- LLM の頃（2024 年）： 「大規模推論モデル（LRMs）」はまだ新興であり、LLM が単なる言語処理を行っていることへの懐疑論（文法的な嫌味目）が一般的でした。
- 変化の兆候（2026 年）： OpenAI の「汎用的推論モデル」が未解決の数学問題を解き、世間の認識は劇的に変化しました。
- 科学者的困惑
- AI システムが実際に何を行っているのかに対する科学的解釈に揺らぎがあります。
- 思考の連鎖（Chain of Thought） という概念：複雑な問い合わせに対し、健全な結論に至るための中間段階を繋ぐプロセスとして定義されています。
- 評価の二極化
- Apple の研究チーム： 単純な条件下では「完全な精度崩壊」に陥り、「思考の錯覚（Illusion of Thinking）」であると批判しました。
- Gary Marcus & Ernest Davis： 一方で、国際数学オリンピック（IMO）で金メダルを獲得する快挙を「生涯を通じて強調するべき業績」と評価しています。
推論ベンチマークと限界
- 表面だけの勝利
- Santa Fe Institute の研究：LRM が慎重に設計された推論ベンチマーク（例：視覚パズル）において、単なる**「表面的なショートカット」**だけで圧倒できることが示されました。
- これは汎化的な推論というより、システムの巧妙な回避策に見えました。
- Google DeepMind とターセンス・タオによる成果
- 微分方程式から数論に至るまでの 67 個の問題を再発見または改善しました。
- これこそが「真の」推論の兆候か、あるいは「鋸歯状な知能（機能する時は機能する）」かの議論が続きます。
メレニ・ミッチェル氏の洞察：3 つの事実
- メレニ・ミッチェル氏のプロフィール
- 1980 年代から AI のキャリアを持つ科学者。Santa Fe Institute で研究。Science などへの寄稿も多数。
- 「思考の錯覚」に関する研究でも彼女の名前が挙がる重要な人物です。
- 核心となる 3 つの結論
- それは機能します。 物事を改善させます。
- テキストは必ずしも事実を忠実に表しません。 LRM が訓練された「思考の連鎖」は、モデル内部の実際の事実に一致していない可能性があります。
- 多くのテキストには価値がありません。 実際に削除しても問題ない場合が多いです。
「思考の連鎖」は本当に推論ですか？
- 起源：プロンプト・ハックから自動化へ
- 2022 年：LLM に記述された推論例を与えると（「一つずつ考えてくれ」と頼む）、骨を抜かれたような回答が減ることを発見しました。
- 2024 年（OpenAI o1 など）：このトリックを自動化。モデルが自身の出力（思考トークン）を再入力し、フィードバックするよう訓練されました。
- 「ごまかした言葉」の問題
- Subbarao Kambhampati： 中間トークンは「アリゾナ州立大学式な『ごまかした言葉（mumblings）』」に過ぎず、真の推論記録ではないと指摘。
- 正しい痕跡データを訓練しても無効な記録を生成することがあり、逆に無関係なデータを置換しても性能が落ちないという実験結果があります。
- 最小因果的影響の実験
- Northeastern University と UCB の研究（2025 年）：解答への「思考ステップ」の30% から 60% が、「最小因果的影響」しか持っていないことが示されました。
- 半分を削除してもパフォーマンスはほとんど変わりません。「最終出力とはリンクしていない可能性があります」と著者は語ります。
- 学界と産業界の対立
- Kambhampati： 「中間トークンを推論/思考の痕跡として擬人化することをやめよう！」（ICML 2026 ポジションペーパー）。
- Sébastien Bubeck (OpenAI)： Apple の批判的早期結果は「誤り」であり、廃れたモデル特有の問題だ。最新モデルはこれを克服しています。
技術的なメカニズム：近似検索と擬人化
- 思考の連鎖とは何か？（Kambhampati の仮説）
- LRM は広大なトレーニングコーパス全体で**「近似検索（approximate retrieval）」**を実行しているに過ぎません。
- 実際の思考プロセスではなく、パターンマッチと推論の間の「どこかの中間」にある動作です。
- 記憶の再構成
- モデルは記述された推論の例（call-and-response）を、高次元空間内の数値的「埋め込み」として符号化しています。
- 確率的な回答として、一貫した「思考」に見えるテキスト列を含むかもしれませんが、それは単なるドットの列や無意味な断片である可能性が高いです。
- なぜ正確なのか：検証可能なドメイン
- コード（実行可能/不可）や数学証明（正しい/間違い）のような二値条件は、強力な訓練シグナルとなります。
- モデルは推論プロセス自体を学習する必要はなく、検証可能な結果を組み立てるために見本（ステップ）を模倣するだけで十分です。
結論：望みの助言記号と科学的スタンス
- 「望みの助言記号（Wishful Mnemonics）」
- ドリュー・マードコット（1976 年）の概念：プログラムを「UNDERSTAND」と呼ぶことは、実際の実装を確認しないまま問題を乞うことと同義。
- AI 推論における「思考の連鎖」も、この望みの助言記号であり、科学者が信じているよりも擬人化されたものです。
- エンジニアリング視点への転換
- AlphaFold の例：複雑な統計的関連性を行使し、内部メカニズムはブラックボックスだが機能しているため、「思考の痕跡」なしでも有効です。
- 検証可能なドメインに限るべき： 信頼を得るためには「正解を正しい理由で得たい」という意識が必要です。
- 今後の展望
- LRM はエンジンであり、燃料（データ）と排気ガス（出力）を持ちますが、内部の仕組みが完全に解明されるまでは、その馬力を理解しようとする努力が続きます。
- 科学的な記述が深まるまで、「思考」に名前のついた魔法ではなく、**「鋸歯状な知能」**としての機能を客観視し続ける必要があります。