
2026/07/14 17:24
無限と不可能性と白いリネンスーツの男
RSS: https://news.ycombinator.com/rss
要約▶
日本語訳:
要約:数学的逻辑が複雑なシステムに対して普遍的な安全保証の実現不可能性を示しているにもかかわらず、現代の AI 研究は、到達不可能な理論的証明ではなく、実証的な検証へと方向転換しなければならない。歴史的に、クルト・ゲーデルの不完全性定理(1931 年)は、十分複雑な論理系にはその中で証明できない真の命題が存在することを示し、アラン・チューリングは 1936 年に、「停止問題」のような一部の問いが本質的にアルゴリズムでは解決不可能であることを明らかにした。これらの限界は、完全に安全か最適であるという AI を数学的にそのように検証することは不可能であることを意味する。さらに、他の数学的結果もこの結論を支持している:シャイ・ベン=デイヴィッド(2019 年)は、一部の問題については数学が機械がそれらを学習できるかを決定できないことを証明し、マヌエル・アルフォンセカは、汎用 AI の安全性を保証することは形式的に不可能であるという論理を主張した。なぜならそれは停止問題に還元されるからである。また、マシュー・コルブロークによる 2022 年の研究では、医学画像再構成に対する有効な解が理論的には存在していても、学習手順でそれを見つけることはできず、存在と発見可能性の間にギャップが存在することを示した。したがって、2025 年のもので「ダーウィン・ゲーデルマシン」と呼ばれるような最近の開発は新しい道筋を提供する。形式的な正しさの証明を求めたり、 Schmidhuber の 2003 年のゲーデルマシンのような以前の概念の厳格な数学的保証に従ったりすることではなく、この自律システムはベンチマークテスト(例:SWE-bench)に依存して自律的な自己改善を進める。マシンのスコアは 20% から 50% に向上したが、これはもとの改善に対する数学的保証を実証的な検証で置き換えることによって達成された。これは、進捗が到達不可能な論理的確実性ではなく観察されたパフォーマンスの向上によって測られるという戦略的転換を表しており、将来の AI の進展は完全に経験的リスクの管理と実用的な指標への依存によって支えられ、不可能な理論的完美さを追求するのではなく行われることを示している。
本文
グーデルの不完全性定理と AI の限界
1. 死因:自己矛盾する論理への抗命
Kurt ゴーデルは、自らの不調和(内的な矛盾)に耐えかねて絶食し、生涯を閉じました。
- 投毒疑念: 「食物が誰かに投毒されている」と確信したため、妻のアデレが先に口をつけて確認してからのみ进食しました。
- 最終状況: 1977 年末に脳卒中で入院したアデレは食事を拒否。その結果、ゴーデルも同様に进食を止めてしまいました。
- 死去: 1978 年 1 月 14 日にプリンストン病院において、体重 29 キログラムという状態で亡くなりました。
- 死亡診断書: 「性格の乱れによって引き起こされた無関心による栄養不良および衰弱」と記載されています。
アリストテレス以来最高の論理学者であり、「数学が到達できない真理を含む」ことを証明した男は、彼自身の逃避の不可能な歪んだ内なる論理によって殺されたのでありました。
2. 物理学者アインシュタインとの関係
数学分野以外の人々は彼の存在を知らない場合もありますが、アインシュタインだけは熟知していました。
- 同僚としての絆: 1940 年代以降、二人はプリンストン高等研究所の教員を務めました。高齢化し主流から孤立していたアインシュタインは、ゴーデルを訪ねる動機を以下のように語りました。
「単に Kurt ゴーデルと自宅まで歩くという特権を得るために行くだけだ」
- 奇異な散歩: プリンストンの歩道では、乱れた服装で笑みを見せるアインシュタインと、白いリネンスーツを着て洗練された姿のゴーデルが奇妙なペアを形成していました。二人は毎日ドイツ語で活発に会話を交わしながら往復していました。
- 評価: デヴィッド・ヒルベルトのプログラムをキャンセルするまで持ち掛けたジョン・フォン・ノイマンは、ゴーデルの 1931 年の論文を読み、「特異かつ壮大であり、遥かな時空において依然として目に見えるランドマークとなるもの」と評価しました。
3. 「不完全性定理」の意味とは?
現在、兆単位の資金が AI スケーリングに投じられています。しかし、その前提である「知能をスケーリング上の問題」という見解は、グーデルの定理によって根本的な問いがかかります。 グーデルは、数学が自身を完全に説明できないことを証明したのです。
ヒルベルトのプログラムとその崩壊
- ヒルベルトの夢: 1900 年、数学者デイヴィッド・ヒルベルトは「本質的に完璧な数学用の機械」の構築を目指しました。
- 規則(公理)から始まり、機械的なステップで全ての数学的真理を導き出すこと。
- 完全性: すべての真の命題が証明可能であること。
- 一貫性: 矛盾がないこと。
- グーデルの反撃: 1931 年、25 歳のゴーデルはこれをたった一撃で粉砕しました。
第一不完全性定理
基本算術を処理するのに十分な強力さを持つ任意の規則系には、証明できない真の命題が含まれています。
- トリック: 「この文には証明がない」という自己言及的な文句を構築しました。
- 二つの可能性:
- システムがそれを証明できる場合 → 矛盾が生じます(偽事を証明するシステムは致命的)。
- システムが証明できない場合 → その文は「証明不可能である真の命題」であり、システムには見落としが存在します。
- 結論: いかなる合理的な数学的システムも、矛盾よりは見落としを好む。ヒルベルトの「すべての真実を証明できる」という夢は死にました。
第二不完全性定理
この刃をさらに深く食い込みます。
- システムは、それ自身を用いて「矛盾がないこと」自体を証明することはできません。
- 信頼性を確認するには常に外部のシステムが必要であり、それはまた同じ制限を持ちます(タートル・オール・ザ・ウェイ・ダウン)。
AI への示唆
これは意識や神秘主義ではなく、規則ベースのシステムに関する厳密な結果です。すべてのソフトウェア、AI も含みます。
4. コンピューターを築いた失敗した夢:チューリング
ヒルベルトは「決定可能性(decidability)」——有限回のステップで命題の有無を決める機械的方法——も求めていました。しかしこれも消えました。
アルラン・チューリングの貢献
1936 年、23 歳のアルラン・チューリングは、「機械的な方法」の意味を確定させました。
- 想像上の装置: 紙テープと記号を読み書きするヘッドを持つ「普遍計算機」。
- 停止問題 (Halting Problem): チューリングは、「どのプログラムが永遠に動いてしまうか(停止しないか)」を判定するプログラムが存在しないことを証明しました。
- 「チェッカー」プログラムが「サボーター」プログラムを検知・予測しようとすると、常に矛盾します。
- 完璧なチェッカーは存在しない。
汎用コンピュータの誕生
- チューリングの実験室装置は汎用コンピュータの理論的な青写真となりました。
- ジョン・フォン・ノイマンはこれを基に EDVAC の設計を行い、現在のすべての PC や GPU はこの設計に従っています。
- ゴーデル自身も、「彼の定理の一般版を正確かつ適切にするもの」としてチューリングによる機械手続きの定義を称賛しました。
5. ゴーデル機械と消失した保証
任意のプログラムを実行できる機械ができても、自律的な自己改良は保証されましたか?
元の「ゴーデル機械」の失敗
2003 年、ユルゲン・シュミットフーバーが提案した思考実験。
- 鉄則: コード変更を伴う自己改良を行うには、まずその変更がシステムをより良くすることを数学的に証明してから実行すること。
- 実用性の欠如: 候補の証明の数値は巨大であり、検索に要する時間は改善価値よりも長い。「道路上を渡ろうとする前にすべての可能な未来から署名済みの証明書」を保証することを求める計算上の不可能性です。
ダーウィン・ゴーデル機械(2025 年)
日本の AI リラボ「サカナ」がリリースしたシステム。
- アプローチ: 形式証明を放棄し、大規模言語モデルで変更案を提案し、ベンチマーク(SWE-bench)でテストする。自然選択的な仕組みです。
- 成果: SWE-bench スコアを 20% から 50% に向上させ、自律的自己変更を通じて期待外の挙動を発現しました。
保証の消失
- 元の機械: 「証明」によって安全に構築された(形式的な保証)。
- ダーウィン・ゴーデル機械: ベンチマークスコアによる「通過」だけで代替され、実証的検証へと移行。
- 比喩: 「規格に対して認証された航空機」と「まだ墜落していないだけの航空機」の違いです。
- 現状: AI 安全性の軌跡において、形式的な保証は産業によって実証的検証で置き換わり、「自己改良」という概念も、数学的な声明から「ベンチマーク改善を確認する柔らかい記述」へと移行しました。ゴーデル(証明)はいないのです。
6. 数学的に学習できないこと
いくつかの分野の問題は、数学的に回答不可能であることが示されました。
Learnability can be undecidable (2019)
シャイ・ベン・ダヴィドらによる研究(Nature Machine Intelligence)。
- 問い: 「このタイプの問題に対して機械が解決するために学習できるか?」
- 答え: 場合によっては「はい」でも「いいえ」でもなく、沈黙(決定的でない)。
- 理由:
- 広告選択のようなタスクにおいて、「訪問者のプロフィール」は測定可能な値だが、その間の組み合わせは無限である。
- 有限なトレーニングデータで無限のプールを予測する際、連続性の仮説に基づき、ある種のサイズでは数学的に答えが存在しない(または証明不可能)ことが示唆される。
- 結論: 広告問題が学習可能かどうかという問い自体が、「数学で答えられない問い」である。床の穴であり、予算やデータ量で修正できない地盤の崩れです。
7. 存在するが構築できないニューラルネットワーク
2022 年、ケンブリッジ大学のマシュー・コルブロークらによる PNAS の論文。
- 発見: ニューラルネットワーク訓練には堅固な境界線が存在する。
- 医用画像診断の例題:
- MRI スキャナーは不完全なデータを再構築に依存している。
- ノイズや微小な動きに対して、出力が不安定になる場合がある(鮮明に見えながら実際は間違っている)。
- コルブロークの定理:
- 特定の問題に対して「揺れに対する免疫を持つ」ネットワーク構成は存在する。
- しかし、現実的な訓練プロセス(試行錯誤)では、その構成を決して見つけることができない。
意味
- 当選する宝くじ券が樽の中にありながら、同時にそれが決して取り出されないことに似ています。
- アルゴリズムが存在しないのではなく、現在の訓練手法で到達できない領域です。
- 「十分なデータと計算」で線を超えるという仮定は、問題空間の特定領域では偽です。
8. 収められない機械:AI の安全性
「十分に強力な AI が危害を及ぼさないことを保証できるか?」という問いに対し、2021 年の研究(Manuel Alfonseca ら)は明確に**「いいえ」**と答えます。
アルフォンセカらの結論
- 停止問題との関連: 「この AI は人類に危害を与えるか?」という問いは、「このプログラムは停止するか?」と同じ種類の不可解な問いです。
- 汎用チェッカーの欠如: 特定のバグをチェックできるが、あらゆる状況下における全てのプログラムのための汎用チェッカーは構築できない。
- システムの完全な将来の振る舞いを予測するには、あらゆる動作列を辿る必要があり、これは形式的に不可能です。
- 超知能の認識: 機械が人間より賢いかどうかを決定することも同様に回答不能なカテゴリーにあります。
安全性の限界
- 安全コミュニティはガードレールやキルスイッチを作ることは可能ですが、「他のシステムを無条件に安全と認定するシステム」自体は構築できないのです。
- これは工学的問題ではなく、数学的不可能性です(円を正方形にするような)。
9. ゴーデルが認識した真実
上記のすべて(不完全性、停止問題、学習不可能性、自己検証不可能性)は、1931 年のゴーデルと 1936 年のチューリングによって確立された共通の祖先を持っています。
- 規則ベースのシステムは自身を完全に説明できない。
- システムは自身の信頼性を認定できない。
- 学習フレームワークは自身の境界線を決定できない。
- 安全戦略は自身の完全性を検証できない。
産業との対立
- AI 産業は「スケーリング(データ、計算、パラメータ)」という商業的論理に従い、硬い限界(ハードリミット)を無視している。
- あなたのチャットボットは日常生活で連続性の仮説や不可解な問題に遭遇しないように見えますが、それは特殊な領域です。
- 自己改良エージェントの保証や危害を与えないことの証明は、必ずゴーデルが地図化した領域(不可能な領域)にあります。
結語
形式的システムは自身を完全に認定できません。これは数学者の問題から、エンジニアの問題へ、そして今や商業の問題へと移行しました。
- 兆単位の機械に賭ける業界は、数学が決して支持しない保証を暗黙的に販売しています。
- 「機械は決して考えることはない」という単純な否定ではなく、思考機械についての特定の保証は明らかに入手不能であるという正確なフレームワークがゴーデルの遺産です。
引用: アインシュタインの奇矯な散歩同伴者は、他の誰もよりも先にそれを視た。形式的システムは自身を完全に認定できない。それは 1931 年の論理学者の問題だった。チューリングが証明を機械に変えた時、それはエンジニアの問題になった。今では商業の問題になっている。
より良い技術を理解し、業務を持続的な向上へ構築するためには、Better than Good のパートナーとしてご相談ください:https://betterthangood.xyz/#contact