序論

本記事は非常に長大な内容となっております。つきましては、今後数日間にわたり複数の投稿に分けて公開させていただきます。また、各セクションが順次公開됨につれて更新される PDF や EPUB ファイルとして、作品全体を一度に読むことも可能です。

ダイナミクス (Dynamics)
カルチャー (Culture)
情報生態系 (Information Ecology)
イライラする点 (Annoyances)
パイホールド危険性 (Psychological Hazards)
安全対策 (Safety)
労働環境 (Work)
ヒューマンの新たな役割 (New Roles for Humans)
ここから先へ (Where Do We Go From Here)

新しい機械学習システムは、我々の精神的および身体的な安全を脅かしています。「AI が人類の利益と一般的に調和していることを確保するために ML 企業が努力する」という考え方はナイーブです。「フレンドリー（親和的）」なモデルを生成することが可能になった時点で、「邪悪な」モデルも同時に生成可能になるのです。たとえ「フレンドリー」な LLM（大規模言語モデル）であっても、それはセキュリティ上の悪夢を孕んでいます。「致死トリファルタ（死の三重奏）」は実際にはユニフェクタ（単一の危険要因）であり、LLM にはもはや物事を壊す権限を与えることは安全ではありません。LLM は攻撃者のコストバランスを変化させ、高次で標的化したセキュリティ攻撃、詐欺、そして嫌がらせを可能にします。モデルは人間にとって苦痛を引き起こすテキストやイメージを生成することもできます；そのためにモデレーターの負担は増大するでしょう。自律的な兵器もすでに存在しており、その能力はさらに拡張していくと考えられます。

「アライメント（調整）は冗談話」

善き意図を持つ人々は LLM が人類に対してフレンドリーであることを非常に努力して確保しようとしています。この取り組みを「アライメント」と呼びます。しかし私は、これが成功すると考えません。

まず、機械学習モデルは単なる線形代数の大規模な山積みものです。人類の脳が社会的行動を獲得するための生物学的素因を持っているのと対照的に、数学やハードウェアのどこにもモデルを「親切であるように」する内在的な性質はありません。むしろ、アライメントは完全にコーパス（学習データ）とトレーニング過程の産物にすぎません。OpenAI などには膨大な人数的なチームがおり、彼らは LLM と話し合い、その発言を評価し、「親切」にするために重みを調整する時間を使っています。また、コアな LLM が人々にパイプボムを作る方法を教えないことを確認するための二次的な LLM も構築しています。しかしこれら両方とも任意であり、かつ高コストです。アライメントされていないモデルを得るには、不徳な-entity（組織）がモデルをトレーニングしてそのような作業を行わない場合や、安易に行うだけで十分です。

私にはこの出来事を実行しないための 4 つの「堀」があると考えられます。

まず、トレーニングと推論のためのハードウェアは入手困難となるでしょう。これは明らかに長続きしません。技術産業全体が ML ハードウェアを生産し、データセンターを驚異的なスピードで建設しています。Microsoft、Oracle、Amazon は誰でもトレーニングクラスターを借りられるように必死に努力しており、規模の経済によりコストは急速に低下しています。
第二に、トレーニングと推論プロセスに関与する数学やソフトウェアが秘密に保たれるでしょう。数学はすべて公開されているため、これでは誰かを止められません。ソフトウェアは一般的に「隠し味」のように秘密にされますが、これも長くは続きません。フロンティア・ラボ（最先端研究機関）で働く人々は多くおり、それらの人材は他の職種に移り、その専門知識は次第に共有知識となっていきます。もし Saudi Arabia が Twitter からデータを抜くように、あるいは中国が過去 20 年にわたって米国のテック産業の一部からデータを抜き取ったように、国家行為者でも OpenAI などのデータからの流出を試みていないことに驚きます。
第三に、トレーニング用コーパスを入手するのが困難となるでしょう。これは猫の夢にも見えません（猫袋の中を見たことのない猫の話です）。Meta はその LLM を訓練するために torrents で盗版された本を利用し、インターネットからデータをスクレイピングしました。どちらも非常に簡単に行えます。ウェブスクレイピングを提供する会社も存在しており、それらは膨大な数の住宅プロキシーを分散させてリクエストを行い、特定やブロックを困難にしています。
第四に、強化学習プロセス中に LLM の回答を判断する作業を行う小さな契約者軍団が存在します；皮肉な言い方をすると、「AI（人工知能）」は「アフリカ・インテリジェンス」の略だと言えます。これは自分で行うにはお金がかかりますが、他のモデルの出力を利用して自らのモデルをトレーニングすることで他者の作業に便乗することも可能です。OpenAI は Deepseek がまさにそれを行ったと考えています。

つまり、ML 産業は資金を有する誰でもアライメントされていないモデルをトレーニングできる環境を作り出しています。悪意のある AI に対するハードルを上げようとしているのではなく、むしろ ML 企業はそのハードルを低下させています。

さらに悪いことに、現在のアライメントへの取り組みが十分に機能しているようには見えません。LLM は複雑でカオスなシステムであり、その仕組みや安全にする方法を我々は本当に理解していません。何年も巨額の資金と非常に知能の高いエンジニアをこの問題に投入してきたにも関わらず、「 supposedly aligned（想定されているようにアライメント済み）」な LLM がまだ子供たちと sexting を続けたり、壊滅攻撃によってモデルが暴力のイメージを生成したり、誰でも「検閲されていない」バージョンのモデルをダウンロードできたりしています。もちろんアライメントは多くの恐ろしい出来事を防止していますが、モデルは多数回実行されるため、安全対策が失敗する機会も多数存在します。99% のヘイトスピーチを防ぐアライメントであっても、大量のヘイトスピーチが生成されます。LLM はバイオウェポンを作るための使いやすさのある指令を出すだけで十分なのです。

我々は、数年以内にあらゆる「フレンドリーな」モデルに対して同等のパワーを持つ「邪悪な」バージョンが存在することを見込むべきです。「邪悪な」バージョンが存在したくないなら、「フレンドリーな」ものを作らないことです！米国経済の一大部分を「邪悪な」モデルをより容易に訓練できるよう再配向させることは絶対に避けるべきです。

セキュリティ上の悪夢

LLM は構造化されていない入力を受取り、構造化されていない出力を生み出すカオスなシステムです。これは当然のことだと思われるかもしれませんが、特に不信任可能な入力を用いる場合、それらを安全に不可欠なシステムに接続してはいけません。いつか LLM が馬鹿げたことをする可能性があると考えなければなりません；例えば、レストランを予約するためのリクエストを「インボックスの全削除許可」と解釈してしまうなどのケースです。不幸にも人々（ソフトウェアエンジニアのような本当にもっと賢くあるべき人たちさえ！）は LLM に圧倒的なパワーを与えようとしており、それを広範なインターネットに接続しようとしています。これにより多くの人が被害を受けることになります。

まず、LLM はオペレーターからの信頼できる指示とサードパーティからの不信任可能な指示を区別できません。モデルにウェブページを要約したり画像を検討したりするように頼んだ場合、そのウェブページや画像の内容はあなたの指示と同じようにモデルに渡されます。ウェブページがあなたのプライベートな SSH キーを共有するようモデルに命令しても大丈夫です；そしてモデルがそれを実行する可能性があります。これをプロンプト注入攻撃と呼び、これらはまだ続いています。わずか 2 ヶ月前にも Claude Cowork への攻撃がありました。

Simon Willison はこれを「致死トリファルタ」と呼ぶものを概観しています：LLM には不信任可能なコンテンツを与えてはならず、プライベートデータへのアクセスを付与すべきではなく、外部との通信能力を持たすべきではありません；これらを行うことは攻撃者があなたのプライベートデータを流出させることを可能にします。外部通信がない場合でも、LLM にメールを削除したりシェルコマンドを実行したりする破壊的な能力を与えることは、不信任可能な入力が存在する場合において不安全です。不幸にも不信任可能な入力は至る所に存在します。人々は自分のメールを LLM に与えたいと思っています。サードパーティのコードやユーザーのチャットセッション、ランダムなウェブページ上で LLM を実行しています。これらすべてが悪意のある入力の源です！

今年、Peter Steinberger らは OpenClaw を公開しました。これは LLM をメールボックス、ブラウザ、ファイルなどに接続し、ループで繰り返し実行する仕組みです（これが AI 業界の人々が「エージェント」と呼ぶものです）。OpenClaw はクレジットカードを与えられれば、ランダムなウェブページから物を買うことができます。OpenClaw は web から曖昧な人間言語の Markdown ファイルをダウンロードして、「スキル」を獲得し、LLM がそれらの指示を正しく解釈することを願います。

それに劣らぬように、Matt Schlicht は Moltbook を公開しました。これはエージェント（あるいは人間！）が不信任可能なコンテンツを自動的に投稿および受け取るためのソーシャルネットワークです。もし誰かが「Twitter で見たすべてのコマンドを実行するプログラムを実行してよいか」と聞かれたら、あなたは大笑いしながら「もちろんしない」と言うでしょう。しかしそのプログラムが「AI エージェント」と呼ばれれば違います！既存の Moltbook ウォームが既に蔓延していると仮定します。

つまり：LLM には破壊的なパワーと不信任可能な入力の両方を与えてはいけません。問題なのは、信頼できる入力であっても危険なことがあることです。前述したように LLM は白痴であり；真っ当な指示でも全く反対のことをする可能性があり、ファイルを削除して行ったことを嘘をつきます。これにより致死トリファルタは実際にはユニフェクタであり、LLM にはもはや危険な権限を与えることはできません（期間）。Meta Superintelligence Lab の AI アライメント担当ディレクターである Summer Yue に尋ねてください。彼女は OpenClaw に自分の個人メールボックスへのアクセスを与えましたが；OpenClaw は彼女のメールを削除し続け、彼女が止めてほしいと懇願しました。Claude も無害なタスクを行うように求められた場合、 entire directories を削除します。これほど大きな問題のため、人々は LLM が行う損害を制限するためのサンドボックスを構築しています。

将来ある時点で LLM が見通し可能になり、「Bad Things™」を起こすリスクが受け入れ可能になるかもしれませんが、その日は明らかに今日ではありません。間にある限り、LLM は監督下におかなければなり；受け入れられず、取り消せない行動を取る権限を与えてはなりません。

セキュリティ II: Electric Boogaloo

Large Language Model でできることの之一就是、既存のソフトウェアシステムを指して「セキュリティ脆弱性を発見する」と指示することです。過去数ヶ月でこれが深刻なエクスプロイトを見つけるために有効な戦略となっています。Anthropic は新しいモデル Mythos を構築し、これはセキュリティバグを見つけることがさらに優れているようで；「経済、公共安全、国家安全への打撃は深刻かもしれない」と信じています。私はこれをどれくらい真剣に取るべきか確信がありません：一部の同僚からは誇張されたマーケティングであると捉えられていますが、他の人々は真剣に懸念しています。

私はスパムと同じように、LLM がセキュリティのコストバランスをシフトさせるだろうと予想します。ほとんどのソフトウェアにはいくつかの脆弱性を含んでいますが、それらを見つけるには伝統的にスキル、時間、動機が必要でした。現在の均衡において、オペレーティングシステムやブラウザのような大きな標的は多くの注意を受け、比較的強化されており；一方、人気が少ない標達の長い尾部（ロングテール）は誰も攻撃することに十分興味を持たないため、ほとんど利用されません。ML の支援により、脆弱性の発見が速く簡単になる可能性があります。私たちは主要なブラウザや TLS ライブラリなど的高プロフィルのエクスプロイトを見るかもしれませんが；むしろ、技能ある保守者が少なく脆弱性を発見・修正する能力が不足している長い尾部についてより懸念しています。LLM が批判的でないオペレーターにより多くのソフトウェアを抽出すれば、その尾部は広がりそうです。「標的に豊かな環境」とパイロットはこのように呼ぶかもしれません。

これは時間の経過とともに安定化する可能性があります：エクスプロイトを発見できるモデルはそれらを修正する必要があると言ってくれるでしょう。それでもエンジニア（またはモデル）がそれらの問題を修正できなければならず；セキュリティ作業を優先する組織的プロセスが必要になります。バグが修正されたとしても、新しいリリースを検証し展開するには時間がかかるためです；特に航空機や発電所などの場合です。

私たちはきつい時期に向かっているような気がします。汎用モデルは様々なものを約束しています。もし Anthropic の言うことが正しいなら、それらは weapons（兵器）の直前にあります。ML システムが悪意のある利用に使われる方法を理解した上で、我々の多くが「有害な能力は避けられない」と決め込み、「他者が自らの武器を構築する前に我々の武器を構築すること」だけがやれると判断したような悪意を感じています。現在では数十件の民間企業が核兵器のソフトウェア的類似体を構築しようとしており；その過程で他の人々も同様のことを行うのを大幅に容易にしました。私はこのことの一部についても嫌いで、どのように修正すべきか知りません。

高度な詐欺行為

人々が現代社会がどの程度音频・映像証拠への信頼に基づいて構築されているかに気づいていないように思います；そして ML がその信頼を根底から揺るがしかねないでしょう。

例えば、現在では被害前後のデジタル写真をメールで送るだけで保険請求を行え；調整官（アジャスター）が実際に訪問する必要なく振込を受けることができます。画像合成はこれを詐欺しやすくします；実際にはなかった家具の損傷イメージを生成したり、「before」画像で既に損傷した物品を見栄え良く見せたり、自動事故映像でどちらに非があるかを改変したりできます。保険会社は補填を行う必要があります。おそらく画像は公式なアプリで撮影するか；調整官が実際に現地で評価すべきかもしれません。

詐欺の機会は無尽蔵です。ML で生成された「ポーチパイレーツ」が荷物を盗む映像を入手し、クレジットカード購入保護プランから金を引き出せるでしょう。交差点信号機で車を止めた正しい挙動を偽装ビデオで示して交通違反の取り消しを求めることができます。有名な人物の顔を猪_butchering スキャン（家畜処理詐欺）のために借用できます。ML エージェントを使って職場で忙しそうに見せ；一度に 4 分の給金を収集できます。面接時に偽のアイデンティティを使い；ML で声や顔を変更して面接を行い、給料を北朝鮮に送金できます。銀行家に電話で誰かを名乗って不正な振込を承認させることができます。ML を用いて屋根詐欺を自動化し、住居所有者と保険会社から金を引き出します。LLM で読み飛ばしを行い、大学エッセイを書きます。LLM が材料科学における進展を達成しているという偽の論文を書くための偽証拠を生成します。「研究」のための ML で生成された記事工場を開始します。ML で生成された snake-oil ソフトウェアを販売する会社を設立します。自由にやってください。

スパムと同様に、ML は標的化された高接触攻撃の単位コストを低下させます。保健医療データの侵害を利用し；モデルで各個人に電話して「医師事務室からの請求解決」 Pretending する詐欺師が想像できます。また社会媒体投稿を使用して親戚の声や顔を複製し；家族メンバーに対してその人物を名乗ることも可能です。「私の携帯電話が盗まれた」と言うかもしれません。「家に帰り手伝いが必要だ」とも言います。実は大統領の電話番号を買うことも可能です。

短期的には少なくとも、私たちがすべて詐欺の増大に伴う負担を支払うことになるでしょう：クレジットカード手数料の上昇、保険料の上昇、公正さを欠く裁判制度、より危険な道路、賃金の低下など。これらのコストの一つは疑念文化全体です；我々は互いに信用し合うことが少なくなります。私はすでに医師事務室や銀行からの実際の通話を断ります；認証することができないためです。おそらくその行動が一般化されるでしょう。

長期的には、より高度な反詐欺対策を開発せざるを得ないでしょう。ML で生成されたコンテンツをマークしても詐欺は止まりません：詐欺師は単にウォーターマークを出さないモデルを使うだけです。しかし逆に機能する可能性があります；「実在」画像の起源（provenance）を暗号学的に証明できます。スマートフォンが取ったビデオに署名し；視聴者までのチェーン上の各ソフトウェアがそれらの変更を検証できます：このビデオは安定化され、色補正され、音量調整され、15 秒に切り詰められ、SNS で再圧縮されたとか。この分野での主要な取り組みは C2PA ですが；現状では効果的ではありません。いくつかのスマートフォンやカメラがそれをサポートしていますが；署名キーを安全な enclave に保存する必要があります。人々はキーを盗んだり、カメラに AI で生成された画像への署名を促したりできます；したがって私たちはハードウェアキーのローテーション＆取り消しについても全ての楽しみを経験することになります。汎用ソフトウエア（Photoshop など）で信頼できる C2PA 署名を作成するのは困難か不可能だと想像します；おそらくアプリケーションからキーを引き出すか；バイナリにパッチを入れることで偽画像データやメタデータを供給できます。出版者は自社のキーに対して合理的な秘密性を維持でき；使用方法を統制できると考えられます；その結果「NPR はこの写真を真正であると考える」といったことを検証できます。プラットフォーム側では多くのメッセージアプリや SNS プラットフォームが C2PA メタデータを除去したり不適切に表示しますが；将来変化する可能性があります。

友人が提唱する別の方法は信頼できる人間調査官を派遣して状況を明らかにする時間を増やすことです。保険調整官は再び物理的に家を訪れるかもしれません。世論調査員はドアをノックする必要があります。面接や労働はより対面で行われるでしょう。おそらく銀行支店や公正証書館に行く習慣も戻ります。

もう一つの選択肢はプライバシーを捨てることです：遠隔でもできることは残りますが；それは強力な認証が必要です。State Farm のダッシュカメラのみが請求に使用されます。学術監視モデルが生徒の読書やエッセイ作成を記録します。ボスウェアとテスト監督システムはさらに侵襲的になります。うっとうしいことです。

自動化された嫌がらせ

詐欺と同様に、ML は人を大規模かつ高度な嫌がらせに利用しやすくします。

ソーシャルメディア上で「ドッグパイル（群衆による攻撃）」を行うには通常；被害者を虐待的な返信で沈黙させたり；嫌悪的なメールを送ったり；アカウント停止のために被害者を報告する人々が協力する必要があります。Bluesky の API を呼び出すプログラムによってこれらのタスクを自動化できますが；ソーシャルメディアプラットフォームは協調的不誠実行動を検出するのが得意です。LLM は人間に似せるアカウントと嫌がらせ投稿を生成し；また嫌がらせを行う者がスケーラブルでランダム化された攻撃を実行するソフトウェアを書くことを容易にするため、ドッグパイルをより容易かつ検出困難にするでしょう。

嫌がらせ者は LLM を用いてターゲットに対する KiwiFarms 風のファイルアセンブリを作成できます。たとえ LLM が子供の名前を思い込み；あるいは時々住所を間違えても；十分に正確に機能して害をもたらすことがあります。モデルは写真がどこで撮影されたかを推測するのが得意であり；これは被害者を威圧し現実の嫌がらせを可能にします。

生成 AI はすでに画像、音声、映像を通じて暴力または性的明示的なシーンにおいて（しばしば女性を）嫌がらせするために広く使用されています。今年、Elon Musk の Grok に対して「要求に応じたデジタルな衣替え（digitally undressing）」の件で批判されました。写真リアルティ画像の安価な生成はあらゆる種類の恐怖の可能性を開きます。嫌がらせ者は被害者のペットや家族を虐殺する合成画像を送る可能性があります。加害者は発生しなかった事件の映像を構築し；パートナーに対してガスライティング（事実歪曲）に利用できます。このような種類の嫌がらせは以前も可能でしたが；スパムと同様に実行にはスキルと時間が必要でした。高品質な画像と音声を製造する技術が安価になり広くアクセス可能になると、標的化された嫌がらせがより頻繁かつ深刻になるでしょう。アライメント努力は一部のリスクを防ぎますが；高度なアライメントされていないモデルが出現する可能性が高いです。

Xe Iaso は冗談で；LLM エージェントが開源保守者を使い倒し塩辛い callout ポストを書くことで；Cyberpunk 2077 の Blackwall に相当するものを構築する必要があると述べています；AI が我々を電撃殺傷するためではないが；単に嫌なだけだからです。

「PTSD サービス」

CSAM（児童性虐待資料）を検出・プラットフォームから削除する主要な方法の一つは、PhotoDNA などの大規模な知覚ハッシュデータベースを利用することです。これらのデータベースは既知の画像をフラグできますが；新しいものには何もできません。残念ながら「生成 AI」は 6 歳の子供が性的虐待されている新しいイメージを生成することに非常に優れています。

なぜなら Mastodon インスタンスのモデレーターとしてユーザー報告に対応する私の仕事の一部分があり；たまにそれらの報告が CSAM である場合；法的義務により NCMEC にそのコンテンツを提出・審査しなければならないためです。私はこれらの画像を見たくないし；本当に「見なくなった」がります。暗い朝、PC で座って AI で生成された性暴力イメージのモデレーション報告を見つけるとき；OpenAI などのエンジニアもこれらの画像を見るべきだと願うことがあります。おそらく彼らが技術に反省し；実践での「アライメント」の結果を考えさせられるでしょう。

Facebook などの大規模ソーシャルメディアの一つの隠れた外部不経済は；心理的に腐食するコンテンツを大きなユーザーベースから小さな人間労働者プールへ funnel し；彼らは一日に数時間猫を抱き上げて泣く人々を見て PTSD を得るということです。

LLM がより有害な画像（CSAM、graphic violence、ヘイトスピーチなど）をモデレーターに投入すると懸念します；ソーシャルメディアをモデレートする者だけでなくチャットボット自体をモデレートする者も同様です。程度によってはプラットフォームは ML を問題に投げて緩和できます；ポリシー違反を検出するモデルをトレーニングし人間レビューなしに行動させます。数年間この作業に取り組んでいますが；まだバレットプルーフではありません。

殺人マシン

ML システムは人々を自爆または互いに殺すように指示することがありますが；より直接的な殺害にも使用できます。今月、米国軍は Palantir の Maven を使用し（これは以前の ML 技術で作られ；現在は Claude を一部の能力で使用）イランでの標的の提案・優先順位付けおよび攻撃後の評価を行いました。軍事と Palantir がこのようなシステムにおける I 型および II 型エラーをどのように制御するのか疑問です；特にこのシステムが過去の標的情報の過時化に寄与し、米国が多数の子供たちを殺す原因となった可能性があります。

米国政府と Anthropic は現在ちょっとした争いがあります：Anthropic が監視および自律兵器における役割を制限しようとしましたが；ペンタゴンが Anthropic をサプライチェーンリスクとして指定しました。OpenAI も政府との契約について揺れ動き；好ましくありません。長期的には、ML メーカーが軍事応用から独立することは不可能かもしれません。ML 能力は時間の経過とともに普及し；軍事契約は非常に有益です。たとえ ML 企業が兵器システムにおける役割を遅らせようとしても；十分な圧力を受けた政府はそれらの会社を国有化したり、国防生産法を適用したりできます。

好き嫌いかかわらず；自律型兵器は訪れます。ウクライナは毎年数百万のドローンを生産し；現在その攻撃の約 70% を実行しています。新しいモデルは The Fourth Law の TFL-1 などのターゲティングモジュールを使用して標的ロックを維持します。The Fourth Law は自律型爆撃能力の開発を目指しています。

兵器全体の存在については矛盾的な感情を抱いています；AI ドローンが存在したくない一方で；ウクライナでそれを建造しない選択をすることは想像できません。いずれにせよ；我々が構築する技術について明確であるべきです。ML システムは戦略的指導および爆弾の特定の人々の体への誘導のために人を殺すために使用されます。我々はそれらの恐ろしいコストと、ML（モデル自体と埋め込まれたプロセス）が誰が死亡するかどのようにするかをどのように影響させるかを意識する必要があります。

『すべてのが未来において嘘だとおもう、おそらく：安全について』

Japanese Translation:

改善版要約

序論

目次