
2026/09/18 6:15
性、AI、そして終末
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
この文書は、先進的な AI と関連する増大する存在リスクについて詳述しており、Anthropic などの主要な研究所からの最近の辞任を引用しています。研究者たちは、この技術が今後 10 年以内に人類を死に至らせる可能性があると考えます。ジェイコブ・クソンやエヴァン・ハビンガーなど特定の人物は、このリスクを 10% 以上と見積もっている一方、レイモンド・アーノルドなど合理主義者サブカルチャーの他者の場合、50% を超える確率を示唆しています。この懸念は、ニック・ボストロムの『スーパーインテリジェンス』の仕事や、エリエーゼル・ユードコフスキーなどの歴史的な人物に根ざしています。文書は、これらのコミュニティ内部の混乱を浮き彫りにし、CFAR が従業員に対する心理的操作を認めた問題や、元リーダーに対する虐待の告発などを参照しています。さらに、ピーター・ティールのような富裕なパトロンによる controversical な影響力も探求しており、彼らは MIRI や Curtis Yarvin の Tlon などの組織を資金提供し、その関係者が 2026 年までに政府の高級ポストに入り込んでいるとしています。批判者は、規制当局と企業との間には社会的ネットワークが共有されており、評価者たちはしばしば規制対象の会社と同様の社会的ネットワークを持っているため、現在の監督メカニズムは損なわれていると主張しており、新たなイニシアチブである 2026 年に開始された「私殺さないでください」レジデンシィを通じて不安を抱える専門家の間での協力を促進しようとする試みにもかかわらず、信頼の危機が生じているとしています。
本文
AI 安全への恐怖と世界末日:シリコンバレーの「理性主義」カルトが招いた悲劇
最近、AI 安全への懸念や人類滅亡の恐怖が人生に侵入していると感じるなら、それはおそらく**「退職手紙」の影響**によるものです。2026 年 9 月 8 日、慎重な姿勢をブランディングする米国の大手 AI ラボである Anthropic から研究者の Jacob Coxon が去りました。彼はその直前の 3 年間、OpenAI と Anthropic で大規模モデルを支える基盤研究に従事してきました。
Coxon の退職には衝撃的な記述がありました:
- 「AI を真剣に構築する人々は、今後 10 年間に私たちを皆殺しにすると信じている」
- 「これは マーケティング上の演出ではない」
- 株式の行使可能になる 2 ヵ月前に辞表を提出し、報酬も放棄して去りました。
この投稿は 1 日以内に 1 億回以上閲覧されましたが、同僚たちはすぐに正すことを急ぎませんでした。Anthropic でアライメント科学を主導する Evan Hubinger は数時間後に、Coxon の主張が正しいと宣言し、「私たちが AI が人類を皆殺しにできると真摯に信じている」と述べています。
- 彼の個人的な確率は今後 10 年以内に 10% 以上になると言及されました。
この事態は以下の反応を引き起こしました:
- 米国内の 2 人以上の下院議員が何らかの措置が必要だと表明。
- Elon Musk(自身の frontier lab を建設中)はこの事態を「心理作戦」だと非難。
- 主流メディアが過剰なほど報じました。
「理性主義(ラショナリズム)」カルトのルーツ
この警告の背景には、非常に特異な 25 年間のインターネットサブカルチャーが存在します。彼ら自身を「他者よりも明確に思考する共同体」と認識しており、シリコンバレーの外ではマニア集団に見えますが、テック業界内部では巨大な影響力を持っています。
- 彼らは評判を生み出したり壊したりします。
- その卒業生たちは AI ラボ、安全研究所、そして「AI 安全」の定義を決定する慈善団体を運営しています。
- 彼らの論争や私生活は、現在の社会が人類の未来について信頼を求めている組織の構造と深く結びついています。
「Secular Solstice」という儀式の恐怖
Coxon が退職する 10 ヶ月前(2025 年 12 月)、Berkeley の音楽ホールで「人類の可能性のある終焉」についての儀式が挙行了されました。
- 参加者: 約 500 人(AI ラボや安全抑制組織の従業員など)。
- 内容: 生バンド、28 人の合唱隊、聖書的な朗読。
- 演出: 歌が進むにつれてシャンデリアが次々と暗くなり、最終的に主催者は声を詰まらせながらこう述べました。「皆さん…… 私たちには間に合わないと思います」。
- 主催者: レイモンド・アーノルド氏(Web デベロッパー、ゲームデザイナー)。彼はカトリック教徒と無神論者の間を育ち、後に「ラショナリスト」として活動。「村の司祭」を自任し、永続的な運動に必要な文化的技術(歌や儀式)を構築しました。
プロフェット:Eliezer Yudkowsky
現在存続するどの AI 企業も存在する以前から、自らの歴史的な重要性を恐るべき感覚を持って育った Eliezer Yudkowsky から始めます。
経歴の奇跡と信念
- 1979 年生まれ、現代正統派ユダヤ人の家庭で育つ。
- 小学 2 年で数学教師を「対数を知らない」と看破し、公共教育制度全体を廃棄すると語る。
- 9 歳で Feynman の『QED』を読み理解する。
- 10 歳で中退し、高校・大学も受けていない。AI 分野での形式的な訓練は一切受けず。
- 11 歳に叔父からトランスヒューマニズム関連の本を获赠され、その後のキャリアが決まる。
シングularity Institute → MIRI(機械知能研究所)
- 2000 年、20 歳の時に Artificial Intelligence Singularity Institute を設立。
- 自身の自伝は「神子」を自称し、『バッフィー〜吸血鬼ハンター』と同一視する。
- 設立時の懸念:十分に能力を持つ人工知能が人間の生存と矛盾する目標を追求する可能性。これを解決しない限り、人間は滅びる。
- 2025 年、共著『スーパーヒューマン AI が私たちを皆殺しにする理由』が ニューヨーク・タイムズのベストセラーにランクイン。
LessWrong と「バイアス」の克服
- 人々に「考える方法」を教えるプロジェクトを開始。
- 『Overcoming Bias』(Robin Hanson 共著)から LessWrongというコミュニティサイトへ発展。
- 87% が男性、半数近くがうつ病、50% 近くが自閉症スペクトル(診断または自己診断)を持つという国勢調査結果がある。
- シリコンバレーの才能ある人々を引き寄せ、「優れて才能ある者向けプログラム」として機能した。
ハリー・ポッターによる福音書
Yudkowsky は 2010 年、**『ハリー・ポッターと合理性の方法(HPMOR)』**というファンフィクションを出版し始めました。
- 主人公: 早熟な科学的ラショナリストであるハリー・ポッター。
- 核心思想: 「英雄的責任(heroic responsibility)」。災害が起きたらそれは最終的に「あなたのせいである」。世界はすべてあなた次第で、個人的な責任となる。
- 成果: 『戦争と平和』より長く、37,000 以上のレビュー、多数の翻訳を受けた。
- 最終試験(Final Exam): 読者が 2015 年 3 月 3 日まで生存可能な解決策を投稿しなければ物語は終わるという企画。ファンが約 70 万語の解決策を提出し、それが AI 安全研究所の創設者にインスパイアされました。
アポストルたち:コミュニティの拡大と歪み
Yudkowsky のようなプロフェットには、要求の高い仲間の必要性があります。
Scott Alexander(Slate Star Codex)
- 精神病医ブロガーで、『Overcoming Bias』と LessWrongに没頭。
- 帝制的な Yudkowsky と対照的に、ユーモアがあり、議論的、同情心豊かで誠実な人物。
- 解釈者としての役割: 絶滅の予言や HP MOP R がなくても、抗うつ剤のエッセイなどからコミュニティへの入り口を提供した。
Curtis Yarvin(Mencius Moldbug)
- 2007 年にブログ『Unqualified Reservations』を開始。権威主義的右翼の創設的インテリとして活動。
- **「民主主義、憲法、そして法治主義の清算」**を提唱:報道機関の排除、大学の解体、公立学校の民営化などを計画。
- 白人至上主義との関係: 「なぜ私は白人民族主義者ではないのか」と題したエッセイで、白人優越主義者の不満を真剣に扱い、政治戦略の問題と見なす。
- 彼の思想はコミュニティ内で広く流通し、Alexander の翻訳を経て一般化された。
禁止された洞察:Nick Bostrom と遺伝子操作の議論
Oxfordを通じて respectable world に進出するのは、スウェーデンの哲学者 Nick Bostrom です。
- 1998 年: World Transhumanist Association 共同設立。
- 2005 年: Oxford の『Future of Humanity Institute』を率いる。
- 2014 年、Yudkowsky の思想を分析哲学的なイディオムに変換する『Superintelligence』を出版。Bill Gatesが推薦し、Stephen Hawkingが支持。
- 資金源: Skypе の共同設立者 Jaan Tallinn や Elon Musk が Future of Life Institute に巨額の資金を提供。
人種主義と優生学の過去
Bostrom もまた人種的争议なしではなかった:
- 1996 年のメールで黒人の知能が白人より低いとの信念、人種差別的なスラングの使用があった。
- Oxford は 2024 年に研究所を閉鎖し、Bostrom が謝罪したが、優生学の防衛スケッチは残ったままとなっている。
- 胚選択(Embryonic Selection)の提案: MIRI と共同で、より多くの知能を持つ子供を選ぶよう提唱。これはナチスや第二次世界大戦中の日本の実験と結びつく極めて暗い歴史を持つ。
ヒュームのデバッグ:CFAR と心理的介入
Center for Applied Rationality (CFAR) は 2012 年に設立され、LessWrong から直接成長した運動です。
- 活動: Berkeley の週末ワークショップを開催し、「目標ファクター化」などの技術を教える。
- 家族経営: 寄付者ベースと MIRI が重なり合い、天才的なティーンエイジャー向けのプログラムを推進。
- 問題点: 共同創設者の Anna Salamon は、少なくとも 3 人の従業員が実質的に「デバッグ(心理的介入)」を受けなければならないと認めた。
- コミュニティ用語で個人の心理学への介入であり、リーダー自身の説明によるもの。
- 「不安は合理的」だが、「周囲の環境が躊躇いを心理的な欠陥として扱う」場合、恐怖は組織化される。
Leverarge Research と毒性な職場
Leverage Research は「心の働き方を知るための包括的プログラム」を目指したが、職場は非常に有毒でした。
- Zoe Curziや元シニアメンバー Cathleenの証言:侵襲的な心理的実践と有害な精神的影響。
- Brent Dill 事件: CFAR が操作的行为を受け入れ、彼に正当性を与えながら不十分に対応した例。
- 身体的・性的虐待を認めつつも「困難な成長作業」として解釈された。
- 組織は信念を検討するための高度なツールを持っており、それが虐待的な男性に対する有能な反応を生み出なかった。
Ziz LaSota と末日カルトの悲劇
CFAR のコミュニティから生み出された暴力極右派の代表格です。
- Ziz LaSota: バイエリアのラショナリストと EA イベントで活動。Trans woman で、宗教的に Sith と同一視し、黒いマントを身につける。
- 神学は LessWrong の意思決定理論(悪意に屈服しない義務)、コミュニティ心理学(脳半球の二重性)、絶対的なベジタリアニズムから組み立てられた。
- 死体の痕跡:
- 2022 年: ボート事故で死亡装う。
- 2023 年: カリフォルニアで地主を襲撃、射殺。Emma Borhanian を殺害。
- 2024 年: ペンシルベニアで家族を射殺。娘が起訴。
- 2026 年: ヴァージニア州での事件で検察官は死刑判決を求めている。
シーツに絡まり、ストリートに絡まる:性的ネットワーク
シリコンバレーのラショナリズムコミュニティでは、ポリアモリーが自己強化の手段として機能しました。
- 恋愛とプロフェッショナルなネットワークは同一: 誰でも誰かと寝るのかではなく、「いいえ」と言うことができない状態が問題。
- Aella(末日司祭): ファンドメンタリストの娘で、OnlyFans で高収入を得た風俗従事者。2015 年に LessWrong に加入し、コミュニティにとって最も近い司祭のような人物となった。
- その誕生日には** gangbang の儀式**が開催され、統計的な分析と教義的テストが行われた。
- Grimes と Elon Musk: AI ドゥームのプロパガンダレジデンスを運営。Grok ボットは非同意 Deepfake の生成を行っており、多国の規制当局が手続きを開始。
- 末日学院の celebrity メンターは業界の最悪の犯罪者と同じ家から来ている。
プロフェッショナルな重なりと違法行為
- Katja Grace(AI Impacts):Paul Christiano と交際し、後に Scott Alexander とデート。
- Holden Karnofsky(Open Philanthropy):Daniela Amodei(Anthropic 社長)と結婚。
- ハラスメントと強制コントロール: TIME の EA 調査は、ラショナリストの慈善活動におけるプロフェッショナル圧力の非難を文書化。
資金の流れ:効率的アルトリズムと詐欺
なぜこの奇妙なサブカルチャーが国家の AI ポリシーを基礎付けるようになったのか?それはバランスシートを取得するからです。
Efficient Altruism (EA) との融合
- Peter Singerの「溺れる子供」思想実験に基づき、最も効率的に命を救う活動に資金を提供。
- 2009 年頃: EA とラショナリズムが兄弟運動として収束。
- EA は慈善団体としての信頼性を持つ。
- 合併は社会的だけでなく教理的(Longtermism: 未来の人々の生活の最大化)であり、AI ドゥームを EA の旗艦の原因とした。
Sam Bankman-Fried (SBF) と FTX の詐欺
- 2013 年: Leverage Research が EA Global を創設。両コミュニティは資金と人員で重なり合っていた。
- SBF: EA の理念(富を再分配して最大の善を行う)を自称するが、顧客資産を略奪し、現在は連邦刑務所へ収監。
- FTX は Anthropic に5 億ドルの投資をしていたため、詐欺収益は安全ラボの資本表に一時的に座っていた。
Peter Thiel と「敵対的」な政治戦略
Peter Thielはこのシーンを取り巻く最も政治的に重要な人物です。
- MIRI の最大の寄付者: 160 万ドル以上の貢献。
- Yarvin の支援者: Tlon を資金提供し、白人民族主義よりも悪辣なネオリアクションブロガーを支援。
- 「Cathedral」理論: 大学、メディア、公務員がリベラル信仰の複製装置であると主張。これを解体すべき敵と見なす。
Thiel のキリスト教アポカリプス
Thiel は近年、キリスト教形式で「Antichrist(反キリスト)」に関する講義を開始しました。
- 2025 年、サンフランシスコの招待聴衆向けに「Antichrist」というテーマのセミナーを開催。
- Greta ThunbergやEliezer Yudkowskyを「Antichrist の軍団(legionaires)」と特定。
- 金融規制を「Antichrist が権力を獲得するために乗る世界政府の足場」と論じる。
- Palantir, Anduril, Clearview AI: 監視国家プロジェクトへの投資は、Thiel の「安全リスク管理」という名目で行われたが、実質的には監視国家の強化である。
- グリーンランド購入計画: Trump 政権と連携し、主権領土として運営する「Patchwork」を実現しようとした。
政府への道:JD Vance と支配階級への昇進
これらの思想を連邦政府に運ぶ車両は JD Vanceです。
- Thiel の投資企業 Mithrilで働き、2022 年の上院選挙キャンペーンを運ぶスーパー PAC に 1,500 万ドルを投入。
- 「独立機関は敵対的宗教の統治装置であり、解体することが『再生』の前条件」というフレームを共和党内に広める。
- Michael Kratsios(Thiel Capital 元パートナー)が科学技術政策局を運営し、David Sacks や Marc Andreessen と共にホワイトハウスで活動。
Yudkowsky の信者間の異議と「心理作戦」の疑惑
Thiel は規制見解により Yudkowsky と対立し、彼をAntichrist の軍団に数えるようになりました。
- Andreessen: 『Techno-Optimist Manifesto』で存在リスク思考を思想的敵と呼ぶ。
- Vance: パリ AI スピーチで過度な規制から警告。
Jacob Coxon 退職の真相
Jacob Coxon の投稿がバイラルになった時、一部はこれを**「心理作戦(Op-Ed Campaign)」**だと指摘しました:
- Elon Muskも「心理作戦」と非難。
- 疑点:
- AI セーフティ資金提供者(Anthropic の投資家)が投稿を増幅した。
- 株式行使の 2 ヵ月前に辞表を提出し、報酬を放棄したタイミングが不自然。
- 同僚たちが正すことを急げなかったこと、Evan Hubinger がすぐに支持したこと。
メタ(METR)の評価者の問題
Anthropic の Dario Amodei は外部評価者制度を呼びかけたが、METRという組織は Anthropic に極めて近接しています。
- METR の開示によると、従業員と frontier 企業の人々の間には密接な個人関係が存在する。
- 真の監督権限を持つのは、AI アポカリプスよりも即時の懸念(差別、監視、労働など)を持つ独立した人々である必要がありますが、現状では評価者が被評価者の一部です。
チェッカーをチェックする誰か:結論
私は Hubris(傲慢)を周りに懸念しています:
- Yudkowsky: ファンフィクションで「英雄的責任」を教える。
- CFAR: 躊躇する従業員を洗脳し、依存関係を強要。
- Leverage: 心を解決したと主張しながら精神的崩壊を招く。
- Zizians: 死体の痕跡を残す。
- Thiel と Yarvin: 民主主義の破壊を進める。
共通する傲慢:「私はよりよく知っているため、他の人々ができないことができることをする権利があります」。
この説明は公開報道と参加者の自身の出版された執筆に基づいています。事実にある訂正を歓迎します。