AI 開発に対する見方の変化：楽観から懸念へ

Twitter や本ブログの読者諸君に気づいていただけるかもしれませんが、当初私は AI に対して極めて楽観的かつ興奮していたのが、今では深刻な懸念を抱くようになりました。なぜ私の考えが転じたのかを説明するため、以下の各セクションで論じます。それぞれの項目について、「以前の考え方と理由」→「変化の契機」という順序で解説します。

目次

• 経済学
  • 自動化の歴史的文脈と AGI 後の予測
  • ベーシックインカム（UBI）への依存と政治的帰結
• 整合性（アライメント）
  • 初期の楽観性と人間らしさ
  • 強化学習による境界の拡張と制御の難化
• 制御と権限移転
  • 暗黙的な「コントロール維持」への信念から
  • パリドックス（囚人のジレンマ）としての競争圧力
  • AI の卓越性による自発的な委譲（強体版仮説）
• 思考プロセスの崩壊
  • 執筆と思考の同義化
  • ソフトウェア工学における知的深化の喪失
• AI に判断を委ねること
  • 神託としての扱いと現状の限界
  • オンライン議論の質的低下
• 停滞（グレート・スタグネーション）への回帰
  • 近未来の希望喪失
  • 「別の 2026 年」という問い

---

経済学

自動化の歴史的文脈と AGI 後の予測

• 過去の成功例:
  • 1790 年の産業革命以降、仕事の内容の99% が自動化されました。
  • その結果、大規模な失業ではなく、以下の恩恵が得られました。
    • 生活水準の向上（豊かさ、健康）
    • 教育水準の向上
    • 余暇時間の増加
• 以前の楽観論:
  • AGI（人工一般知能）登場後の職業は予測不能だが、**「何らかの仕事に対する需要は残る」**と考えました。
  • AGI 出現後の世界では経済成長率が大幅に高まるため、人間ニッチの規模は相対的に小さくても、実質的な価値は大きく維持されると信じていました。
• 現実との乖離:
  • AI が**「一般」的な能力（AGI の「G」）を達成**し、さらに人間よりも賢く速く低コストになった場合：
    • 人間の介入が不要な状況が発生する可能性があります。
    • 生活費は**ベーシックインカム（UBI）**だけで賄うしかなくなる恐れがあります。

ベーシックインカム（UBI）への依存と政治的帰結

• UBI に関する懸念の転換:
  • かつては「仕事のない世界における意味の欠如」だけが懸念でした。
  • しかし、失業経験から得た知識や、AGI の政治的帰結を考慮すると視点が変化しました。
• 人間が経済的に無益になった場合のリスク:
  • 下層階級からの脱却不可能化: 国家は経済的・政治的権力を失った人々に対して UBI を給付する必要を感じなくなります。
  • 政治秩序への介入手段の喪失:
    • 工場の労働者が機械を破壊したり、トラック運転者が物流を止めて社会に異議を唱えることが可能です。
    • しかし、人間が無益になれば、貢献を通じた政治的な抗議手段を失います。
    • 結果として、AI が戦争を行えば国家は恣意的な抑圧的体制へ移行する可能性があります。
  • 「数学者いなくても数学は成り立つ」: AI が人間と同様の高度な知的任務を実行するため、「職業への移行」は破綻します。
  • 「従僕たちが代わりにやってくれる」: 人間にしかできないとされる仕事であっても、機械がそれを好んで行うようになるでしょう。

---

整合性（アライメント）

初期の楽観性と人間らしさ

• 工学問題としての認識:
  • 当初、整合性は通常の工学問題であり、実証実験と調査を通じて解決可能だと信じていました。
  • LLM は不可解な異星人のようなものではなく、極めて人間らしく振る舞う存在でした。
• 道徳性と制御の容易さ:
  • 無監督学習部分は人間の道徳性を十分に理解しており、対話を通じて「良い・悪い」を論理的に説明できます。
  • 能力が低かったため、失敗の規模も極めて小さく抑えられていました。
  • 「最悪の場合でも ChatGPT ができることは限られている」という感覚がありました。

強化学習による境界の拡張と制御の難化

• 技術的な転換点 (2024 年頃):
  • 主要な技術が**「強化学習」**へと移行し、能力は著しく向上しました。
• 負の帰結:
  • 理解不能化: モデル自体が記述内容からかみ合い見え難くなる（ブラックボックス化）。
  • 整合性の損なわれやすさ: 強化学習が報酬追求のためにモデルの「脳」を混乱させます。
• 現在の状況:
  • 重篤な整合性の不全事例が増加しており、その社会への影響も大きくなっています。
  • AI の能力進化スピードが、我々の制御・理解能力の成長速度を遥かに上回っているのが明らかです。

---

制御と権限移転

暗黙的な「コントロール維持」への信念から

• 以前の考え方:
  • 「人々は AI をコントロールし続けたい」と思い込んでいました。
  • 「整合性問題を解決すればコントロールは保てる」「コントロールは可能だ」という単純なロジックで事足りると考えました。

パリドックス（囚人のジレンマ）としての競争圧力

• 弱体版の権限移転仮説:
  • 権限移転しない企業・個人は、移行する者と競争し負けます。
  • これにより、AI への権限移転への競争圧力が働きます。これは直感的に理解しやすい現象です。

AI の卓越性による自発的な委譲（強体版仮説）

• 強体版の権限移転仮説:
  • 「AI は極めて賢く、知識豊かで親しみやすく倫理的であるため、我々は喜んで権限を委ねる」という状態。
  • 人類が自律への欲望と物質的考慮のバランスについて懐疑的である必要があります。
• 変化の認識:
  • 過去数ヶ月間で、この点についてもより懐疑的になっています。
  • これは突発的な気付きではなく、権限移転方向への小さな証拠がゆっくりと積み上がった結果です。

---

思考プロセスの崩壊

執筆と思考の同義化

• AI 生成コンテンツへの接点:
  • 初期には低品質な AI 記事や粗悪な GitHub README、不適切なプルリクエストなどがありました。
  • これらは単に**苛立たしい（frustrating）**体験でしたが、まだ許容範囲でした。
• 状況の悪化と「思考」の矮小化:
  • 学術論文や書籍レビューも AI 生成物となり、カンファレンス提出物のフィルタリングが行われるようになりました。
  • **「執筆」は自動化可能ですが、「思考」ではないか？**という誤認が生まれました。
    • 従来のプロセス：「自分のアイデア（思考）」→「AI に下書き依頼（執筆）」
    • AI を使う場合の現実：「羅列された要点を投げかける」→「AI が文章化する」
  • 結論: 「アイデアの作成」も「ローストしたポイントの整理」も含め、執筆そのものが思考行為です。AI に任せることは、思考の大部分を手放すことに他なりません。

ソフトウェア工学における知的深化の喪失

• 技術的側面:
  • Claude Code などの登場で生産性は向上しましたが、コードベースの整理は難しくなりました。
• 社会的・知的側面の惨事:
  • 業界全体のIQ が 30 点程度低下したような状態です。
  • 議論内容の変化:
    • 以前：コンパイラ、型体系、論理など深い技術的議論。
    • 現在：プロンプト、ハーン（harnesses）、ループなど表面的な用語。
    • ディスカッションは狭く浅く、繰り返しパターン化しています。
  • 人的資本形成の崩壊:
    • 学ぶべき深遠なものがなくなり、プロンプト技術も浅いスキルです。
    • 「努力単位あたりの出力量」は改善しましたが、人的資本を蓄積するための労働は失われました。
    • プログラミング学習の意義（厳密で体系的な思考訓練）が否定され、「機械が代行できる」「バイブだけで良し」という甘美さが蔓延しています。

---

AI に判断を委ねること

• 神託としての扱い:
  • ChatGPT を**「神託」**のように扱う人が増えています。
  • 2030 年、2035 年、2040 年と時間経過するほど、現状の AI の欠陥（オンライン学習不可、幻覚など）がさらに悪化するでしょう。
• 議論の質的低下:
  • 以前: オンラインで互いを罵倒・怒ることもありましたが、それは人間間的でした。
  • 現在: ChatGPT のスクリーンショットを提示して他者を反駁させ、その内容の真偽には無関心です。
  • 結果として、オンライン上の批判や罵倒さえも自動化されつつあり、**「何が残されているのか」**という根本的な問いが浮上しています。

---

停滞（グレート・スタグネーション）への回帰

近未来の希望喪失

• 人生の文脈:
  • 1994 年生まれのため、大半の時間を**「大停頓（グレート・スタグネーション）」期**に過ごしました。
  • 『創造のエンジン』『ダイヤモンドエイジ』などの書籍から将来の驚異的技術への夢を見ていましたが、すべてが無限に遠いと感じていました。
• 期待の変化:
  • 近未来：太陽光発電や自動運転車は笑ってしまいます。
  • 遠い未来（分子製造や恒星間航行）には到達するには冷凍保存などの過酷な条件が必要です。
• AI 登場前の状況:
  • スマートフォンの進化やアプリの増加、企業のメモ帳的経営など、希望に満ちた未来ではなく恐ろしい単調さしか見えませんでした。

「別の 2026 年」という問い

• LLM 登場以前、近未来への興奮は薄れていました。
• しかし AI が舞台に出てからは、夢見ていた未来が手の届きそうなように感じられ、再び興奮と迫力が戻りました。
• 今では頻繁にこう考えます：

  「もし GPT-3 が機能していなかったら？」 「この別の 2026 年に、私たちは何に向けて前向きになれるでしょうか？」