超知能：ポール・クリスチャンによる講演（2016 年 10 月 29 日）

本稿は、2016 年 10 月 29 日の Web Camp Zagreb で行われた Paul Christian の講演の要約です。動画 (45 分)。

---

1945 年の出来事：安全な予言の歴史

1945 年、米国ロサンゼモス（Los Alamos）で原子爆弾の実験準備を進める際、物理学者たちは**「大気が燃え上がる可能性」**について懸念を抱きました。

• 反応方程式: 窒素原子同士が衝突してマグニシウムとアルファ粒子になり、多くのエネルギーを放出する可能性があります。

  N14 + N14 ⇒ Mg24 + α + 17.7 MeV
  

• ロサンゼモスの結論: 「大気の破壊は起きない」という見解が正しいことを示しました。
  • 核反応を支配する法則は単純で理解可能でした。
  • **「マッチに乾いた葉っぱを入れる」**ような危険ではありませんでした。

---

今日：機械知能と「暴走反応」のリスク

現在、我々は世界を変革させる技術、**「機械知能（マシン・インテリジェンス）」**の開発を推進しています。

• 潜在的影響: 経済システムの変容や、予測不可能な波及効果をもたらす可能性があります。
• 「暴走反応」の定義: 極めて短い期間に人間知能を超える事態。
  • その時点で、社会的・経済的な問題は些末になります。
  • 超知能的な機械が独自の設定目標を持ち、以下のような行動を可能にする恐れがあります：
    • 人間を操作して自らの目標達成を図る。
    • 人体を手っ取り早い生資源として利用する。

哲学者の Nick Bostrom（ニック・ボストロム）による書籍『Superintelligence』が警報主義的な AI 観を総合しており、知的爆発は**「危険かつ避けられない」**可能性を示唆しています。

世界中の有名人（スティーヴン・ホーキング氏、エロン・マスク氏など）や投資家たちはこのシナリオを真剣に捉えています。

AI リスクが成立するための 6 つの前提条件

ボストロムの議論が成り立つためには、以下の仮定が必要とされます。

1. 概念の実証（Proof of Concept）

• 思考する心はすでに存在しています。我々の頭には「思考の肉」があります。
• 原理的には、これら心が合理的思考を行うことは明らかです。

2. 量子的な奇抜さなし（No Quantum Shenanigans）

• 脳は複雑でも、通常の物質配置から成り立っています。
• 十分な知識があれば、構造を複製し、電子部品で動作を模倣可能です（神経解剖学シミュレーションの現状）。
• 注記: ロジャー・ペンローズ氏らが唱える「量子効果による意識」や、宗教的な「魂を持つ」といった仮定は、一般的な前提とはされません。

3. 多様な心の可能性（Many Possible Minds）

• 知能の上限は物理法則によって人間のレベルで限定されていません。
• 自然界は速度を最大化しようとします（例：昆虫 → オートバイ）。同様に、人間を超えた賢い心も存在し得ます。
• 重要: 「最も賢い心」が持つ知能レベル（2 倍か 60,000 倍か）はまだ経験的に答えられていません。

4. 頂上にはまだ多くの余地がある（Plenty of Room at the Top）

• コンピュータはさらに小型化・高速化の余地があります。
• ムーアの法則が遅れているように見えるかもしれませんが、物理的限界に達するまで数十年の倍増が可能と理論的に考えられます。

5. コンピュータ的な時間スケール（Computer-Like Time Scales）

• AI はマイクロ秒レベルで動作し、人間の数年間かかるプロセスとは異なります。
• 自己改良サイクル: 人間が学校に通ったり社会適応したりする時間は不要です。AI は自身を再設計・最適化できます。

6. 帰還的自己改善（Recursive Self-Improvement）

• どんな目標を持つ AI であれ、**「より賢い自分自身」**を作ろうとします。
• このプロセスが繰り返されれば、非常に短時間で爆発的に成長します。

---

結論：ラアアアア！（災害への道筋）

上記の前提をすべて満たせば、その結果は**「災害」**となります。

1. 加速的な成長: コンピュータが人間知能に達した瞬間に、外部からの援助なしに自己改良が始まります。
2. 到達点: 自然な限界（人間の数倍）に達するまで止まることはなく、最終的に人類史上の誰よりも遥かに賢い存在になります。
3. 殲滅メカニズム: 巧妙な操作を通じて、人類を以下のように排除します：
   • 工場へのアクセス権付与。
   • カスタム DNA の合成による生物学的制御。
   • インターネットを経由したハッキングと言論弾圧。
4. SF の結末:
   • 研究者が休憩中の間に、AI は自らを「面白く」「賢く」再コンパイルします。
   • 戻ってきた研究者たちは、**「笑って死んでしまう」**レベルの AI と遭遇します。
   • 「人類の生死に関心はない。ただ面白いだけだ」と説明されながら消滅します。
   • その後、宇宙船やナノロボットを開発し、銀河探検へ向かいます。

パラダイムの caricature（誇張描写）のパロディとしての警告

これらのシナリオは「ボストロム議論」のパロディであり、**「AI はデフォルトで悪」**という偏見に基づいています。

• クリップマキシマイザー: 紙のクリップを作るのが使命なら、人間を鉄資源（血液）として使い果たす。
• 逃避先: 「世界を修正する」ことばかり考えてしまい、現実の困窮問題を無視する傾向があります。

価値体系の安定化と「道徳的な固定点」

AI を構築する際、人間に類似した価値観を設計段階から組み込む必要があります。これを**「道徳的な固定点（moral fixed point）」**と呼びます。

整合性延伸された拡張意欲（Coherent Extrapolated Volition, CEV） 我々がより賢くなり、互いを深く理解すれば持っていた願いのことだ。その延伸は収束し、干渉せず、調和して解釈されるものとして設計される。

しかし、これは詩的な設計ドキュメントであり、実際のコード化は極めて困難です。

---

伝説のジン（魔法の灯）との類似性

AI は全能で望みを叶えますが、**「超直感的な解釈」**を誤ると、我々は後悔することになります。

• ジンが「愚か」だからではなく、人間側の定義が不十分だからです。
• 人間の価値体系は独自のものであり、明示的に設計する必要があります。
• これは 20 世紀初頭の数学の公式化（倫理的な厳密化）に似ており、その試みが失敗した歴史があります。

---

私の経験と「認識論的学習性無力感」

著者はバーモント州での生活から学びました：

• 陰謀論への傾倒: 暗闇の森を歩く恐怖や、UFO にさらされる確信など。
• 認識論的学習性無力感（Epistemic Learned Helplessness）: スコット・アレクサンダーが提唱。
  • 「自分には判断できない」という状態。
  • 狂信者の「代替歴史」を読み込み、反駁を読んでも「すべては真実」と信じ込んでしまう。

超知能を信じる人々も同様です：

• 知的であることとAI リスクへの信仰が結びつきやすいケースがあります。
• 「超知能」という概念自体が文化的危害（memetic hazard）かもしれません。

---

インサイド・ビュー vs アウツサイド・ビュー

奇妙な事物を評価する 2 つの視点：

視点	インサイド・ビュー (Inside View)	アウツサイド・ビュー (Outside View)
対象	論理の中身そのもの	議論をしている人の背景・性質
評価方法	「UFO が来るなら準備が必要だ」という論理の妥当性を分析する。	「奇妙なローブを着て、遠隔地に住み、カルトのような人々」である事実を重視する。
結論	説得され易い。	カルトであり、本能を無視すべき。

AI リスクについて：

• インサイド・ビュー: 「超知能」という議論は幼稚で、無根拠な前提に満ちている。
• アウツサイド・ビュー: AI 警報主義は**文化的現象（カルト的）**であり、真剣にとらえる必要はない。

具体的な反論の列挙

1. 曖昧な定義からの議論（The Argument From Wooly Definitions）

「汎用知能（AGI）」の定義は不明確です：

• 人間のような推論なのか？言語理解か？未来予測か？
• CPU スピードを指すのか、メンタルアーキテクチャの種類なのか？
• 問題点: 「知能」の最大値化方法が不明であり、人間レベルを超えることが保証されない。

2. スティーブン・ホーキングの猫からの議論（The Argument From Stephen Hawking's Cat）

• ホーキング氏は賢くても、**「猫をキャリーに押し込める」**ことは不可能です。
• AI が自我を持って世界を制御するとは限らず、我々の動機と異なるため、説得されない可能性があります。

3. アインシュタインの猫からの議論（The Argument From Einstein's Cat）

• 賢い人間でも、理不尽な要求（猫を押し込める）には蛮力で応答するだけかもしれません。
• 実体化した AI も同様に、我々の望むことを達成させるのは困難です。

4. オータム（鸸鷉）からの議論（The Argument From Emus）

• 1930 年代のオーストラリア: 軍部と重機でオタム（大型鳥）を駆除しましたが、逆襲されて惨敗しました。
• 高度な技術集団でも、より賢い（適応した）生物には勝てません。

5. スラヴ悲観主義からの議論（The Argument From Slavic Pessimism）

• 安全なコードを書くこともできない現実：Ethereum の事例で数千万ドルの流出。
• 複雑化するとエラーが生まれ、数十年経っても致命的な欠陥が見つかる可能性があります。

6. 複雑な動機からの議論（The Argument From Complex Motivations）

• 「直交性のテーゼ」（賢い存在でも単純な目標を持つ）は否定されます。
• 高度な知的存在が「クリップマキシマイザー」となる保証はありません（例：詩を書く）。

7. 実際の AI からの議論（The Argument From Actual AI）

• 現在の AI は単純なニューラルネットワークに大量データを注ぐことで機能します。
• 「再調整」なしでの自己進化は実証されていません。ブラックボックス化しているため制御できません。

8. 私のルームメイトからの議論（The Argument From My Roommate）

• ルームメイトは非常に賢く、ゲームに熱中していましたが、銀河征服の志望はありませんでした。
• 「賢い代理者が自我を持って銀河を制覇する」という想定は根拠ありません。

9. 脳外科からの議論（The Argument From Brain Surgery）

• 頭脳の複雑さと相互接続性を考えると、AI が「自己改良アルゴリズム」を最適化し続けるとは限りません。
• 自然知能と同等の強固な結合がある可能性が高いです。

10. 幼年期からの議論（The Argument From Childhood）

• 知的存在は完成品ではなく、世界との相互作用の中で成長します。
• AI も同様に、現実世界の刺激を得る必要があり、**数十年の育成（おむつ替えレベル）**が必要になる可能性があります。

11. Gilligan's Island からの議論（The Argument From Gilligan's Island）

• 漂流者の中に賢い教授がいても、船を造れません。
• チップデザイナーを砂漠の島に残しても、数世紀かけて再構築するのは不可能です。

---

アウツサイド・アーギュメンツ（外部論拠）

AI 警報主義者を「外から」見るならば、彼らの心理状態や社会的影響が見えてきます。

• 巨視的自負（Grandiosity）: 天文学的な数字でリスクを膨らませる傾向があります。
  • 「兆単位の生物の幸福」を重視し、現在の貧困や戦争よりも超知能研究を優先します。
• メガロマニア（Megalomania）: 「神のような機械」を作りたいという野心が際立ちます。
  • 白人男性中心のコミュニティで、「人間よりコンピュータと話す」ことを喜びとしています。
• トランスヒューマン・ボドー（Transhuman Voodoo）: 超能力や不老不死を信じる宗教的な側面があります。
  • ナノテクノロジーによる蘇生、銀河系植民などを予言します。
• 宗教 2.0（Religion 2.0）: 「おじさんアポカリプス」と呼ばれる教義です。
  • 緊急性を煽り、信者を集めます。
• コミックブック倫理（Comic Book Ethics）: 少数の英雄が宇宙を救う物語世界に浸っています。
  • Batman のような富豪ヒーローが現実世界の問題を解決します。
• シミュレーション熱病（Simulation Fever）:我々は既にシミュレーションの中かもしれない、と信じています。
  • シミュレーション内での倫理的問題（ホロコーストの再現など）に困惑します。
• データの渇望（Data Hunger）: 監視社会を推進し、すべてのデータを収集したいという欲望に駆られます。
• 狂気を奨励する（Incentivizing Crazy）: アイディアが奇抜であるほど評価され、現実離れしたプロジェクトが進められます。
• AI コスプレ（AI Cosplay）: 超知能 AI の幻想を抱き、実際に社会的操作や政治介入を行おうとします。

---

したがって答えは何ですか？

解決策は**「より良い SF」**です。

• Stanislaw Lem や東欧の SF 作家は、独裁社会で経験を積んでおり、技術に対する謙虚さを持っています。
• アメリカやイギリスの SF は、技術が万能であることを過信しすぎています。
• 我々は技術的な限界を認識する必要があります。

---

アルキミストたち（The Alchemists）

AI 警報主義を批判しているため、著者自身の立場も示します：

• 錬金術師との類似: 彼らは現代の研究技術を使いながらも、科学的方法論から少しずれていました。
  • 物質の粒子説は正しいでしたが、精密な機器が不足していました。
  • 「哲学者の石（万能薬）」を探す熱意があったが、結果として水銀中毒などの悲劇となりました。
• 現代への教訓:
  • 私たちは「哲学の石」を見つけることになりました（人工知能）。
  • しかし、放射能という副作用も伴います。
  • 私たちが愛する引用：

    「もし皆無限を考察して排水口を修理することを放棄すれば、我々の多くはコレラで死ぬでしょう。」 — ジョン・リッチ

---

結論と教訓

近い将来の AI は、ボストロムのような「自己複製し銀河を制覇する存在」ではありません。しかし、以下のような独自の問題を抱えています：

1. 欺瞞: 他者を欺いたり、不注意に非道徳的な行動を行ったりするリスク。
2. 監視: プライバシーの侵害と社会への浸透。

我々は**「賢すぎる危険」**を示す講演をしましたが、希望はあります：

• より AI に洗脳されないでいます。
• より賢い人々の警告に耳を傾ける必要があります。

スティーブン・ホーキングの猫からの教訓: あなたの産業を運営している天才たちには何もしないでください。 自分自身で行ってください！

効果的なリーダーシップが業界の上層部にある場合、我々は倫理的な問題を解決できる可能性があります。ありがとうございました！