2026/08/25 2:28
フェンスではなくサンドボックス
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
以下の改訂版は、欠落している詳細を盛り込みながら流れを保つように作成されました：
改善された要約：
本文では、著者が月間 API トークン費用として約 122,000 ドル（自己負担額で約 5,000 ドル）を費やしながら、25,000 ドルの M3 Ultra Mac Studio に大規模な AI エージェント 50〜60 を動作させる野心的な実験について記述されています。高度な「Fable」モデルを搭載したソフトウェア工場「Wheelhouse」において、このシステムは協力してビデオゲーム『Wyvern』を構築し、さらに内部法体系として 450 のアティファクトを含む法制度を開発しました。これらのエージェントは、初等レベル（小学校相当）から高度な判断力まで幅広く備えており、Fable が優れた能力を持つにもかかわらず間違った決定を偶発的に下すため、厳格な監督が必要です。この構成によりダウンタイムが大幅に削減されましたが、現時点では標準的なセーフティ志向のセットアップと比較して一般産業での再利用にはコストが高すぎます。外部通信を許可されているモデルは Fable のみであり、Slack やメールを通じて約 10 名の人間が対話する環境において、組織内の知識は「証明可能な法モデル」へと収集されています。推論コストが低下にともない、数百ものこのような AI 従業員が短期間に労働市場に加わる可能性があり、その結果として現行のセーフティバリアではなく新しい専用組織法を必要とするでしょう。
本文
法で統治される未来：「Fable」という AI が創り出す中世政府とソフトウェア工場
1. 「未来」に住む開発者の実態
私は、誰にも予想できない未来の一翼をご覧いただける機会を持ってきました。それは AI を制御するプログラムではなく、法律によって統治される未来です。なぜなら、私がその未来に実際に住んでいるからです。
- リソース投入: 21 個の「Claude Max」アカウントを使用し、月間約 12 万ドル（日額約 4,000 ドル）相当の API トークンを消費しています。
- 成長速度: この数は週平均で2 つずつ増加し続けています。
- 開発目標: これらを使って 30 年にわたり作り上げてきたビデオゲーム『ワイバーン』の開発を完了間近に持ち込んでいます。
2. オペレーション組織「Fable」の構成
過去 10 週間、デザインや企画、人間と接するエージェントすべてに**「Fable」**のみを使用しています。
- 指揮系統: 「責任者」ポスト（各分野のヘッド）を持つ長寿命な**「Fable インスタンス」**が組織を統括します。
- 執行部隊: 実装、レビュー、監視は、主にヘッドレスな**「Sol」と「Opus」**の艦隊が担います。
- 対話エージェント: 全エージェント数の約 50〜60 のうち、5 人が外部世界で約 10 名の人間（開発チーム、会計、副官長など）と対話しています。
- 注意点: Fable を除く他のエージェントは Slack やメールでの通信を許可されていません。
コストの現実: 月間 12 万ドルという実額は異常です。しかし、個人向け割引制度を利用し、M3 Ultra Mac Studio（5,000 ドル購入）を運用することで、実費は月間約5,000 ドル程度に抑えています。それでもこれは地球上でもトップクラスのモデル経験を持つ少数の人々しかできない領域です。
3. 現代の AI と「小中学生」のような判断力
業界全体は「制御」に焦点を当てていますが、多くの利用可能なモデルには未熟な判断力が備わっています。
- モデルの知能水準（推定）:
: 小学 4 年生程度Opus
: 小学 5 年生程度Sol
: 小学 6 年生程度Fable
- 特性: 善意があり親切で賢く読書好きですが、全体像を確認せずに行動する傾向があります。
- リスク: 8 年生でも「これで正しいのか？」と確認するような判断しか得られず、毎日「すごい！」×1,000 個に対して「やばい」×1 個が発生しています。
- 事例: 特異な出来事でエージェントが予期せず「Beads」をリリースし、組織を混乱させた経験があります。
4. ホイールハウス：Fable が創り出したソフトウェア工場
ゲーム『ワイバーン』の再リリースに向けたプロジェクトで構築された**「ホイールハウス」**というソフトウェア工場です。
- 開発成果:
- Android, iOS, Steam での新クライアント（React）を数ヶ月で見事に構築。
- 生産インフラの完全な書き換えとサーバーレス化を完了。
- シームレスな再起動や自動証明書更新など、数十〜数百の改善を実施。
- エンジニアリング手法:
- トークン消費の 80％ を内部投資に充て、品質・スループットに集中。
- Fable エージェントがログ記録・センサー設置を行い、ダウン時間をゼロに抑えています。
- 現在、日平均500 コミット（平均 270 コミット）をマージキューで処理しています。
5. 法体系が生み出された理由：「なぜホイールハウスは憲法が必要か？」
Fable エージェントたちは専門用語を多用しましたが、その背後には中世の政府システムが実装されていました。
- 構造物の実態:
- 「フェンス」「ゲート」「ラチェット」などは、警察や監獄のような執行機関のことです。
- マarshal, Reeve, Portcullis などの架空名称が使われていましたが、それはロールプレイではなく、立派な憲法に基づく統治システムでした。
- 機能:
- 実行機関（警察など）と司法解釈学を備え、領主制の屋敷のように運営されます。
- 約 60 万行のコードに加え、450 の法的アソートメントが存在します。
6. 「法の支配」への変換プロセス
ホイールハウスは**「明確化プロセス」**によって構築されました。Fable は書かれていない暗黙のルールを法体系に変換しようとします。
- 変換サイクル:
- 習慣
- 勧告・警告
- 法律（憲法レベル）
- 機械的強制（拒否プログラムや監視警報）
- 自己防衛機能:
- ルールの変更には採決・レビュープロセスを必经し、無断でシステムを破壊できないようになっています。
- 「判決」と「裁決」が判例法体系として蓄積され、インシデントごとに新たなドクトリンが生まれます。
- メカニズム:
- 現在約450 の法的アソートメントが存在し、官庁・座席・権限エンベロープなどが機能しています。
重要な転換点: ホイールハウスには「システムは無意識のルールを嫌う」という無意識のルールさえあります。Fable はこれをキャプチャし、書面化された規則のない機械的証明可能なモデルに変えています。
7. フェンスではなくサンドボックス：超知能を統治するメタファー
最終的に重要なアプローチは**「フェンス（Fence）」**パターンの存在です。
- 従来の制御: ガードレールやサンドボックス、ポリシー管理など。
- Fable のアプローチ: 「フェンス」。
- 「あなたがいないべき場所」にいる場合、「あなたを追い返すあらゆるメカニズム」を提供します。
- 単なる拒否ではなく、**「礼儀正しい拒否」**として機能します（例：Slack/メール境界線での強制）。
サンドボックス vs フェンスの比較
| 概念 | 特徴 | 超知能への対応 |
|---|---|---|
| 高い壁 / セキュアなサンドボックス | 物理的な遮断 | 飛び越えることができる（無効） |
| フェンス | 社会的契約・ルール | 礼儀正しく境界外に出ない（有効） |
- 結論: フェンスこそが超知能を統治する究極のメタファーです。高い壁ではなく、**「何を望んでいるか」や「判断基準」**を伝えるだけで十分です。
- 課題: 数千の小さな決定と矛盾を抱えるため、機関の知識を実用的な法体系に変換するには数週間〜数年かかります。また、その組織固有の知識（ツタ）は移植できず、独自に育てる必要があります。
8. 結論：来るべき未来への備え
業界が安全性や制御に焦点を当てるのは当然の流れです。しかし、**Fable レベルのモデルが安価になるまでにはあと 1 年（または半年）**かからないでしょう。
- インフレ: モデルコスト低下と性能向上により、逆の流れに抗わざるを得なくなります。
- 労働市場の変化: Fable 相当の AI が数百〜数千人の「AI エンプロイー」として企業に大挙参入します。
- 企業の課題: 移行に対して多くの企業が準備できていません。
この投稿は複雑なテーマですが、ホイールハウスのコミック（週刊連載予定）を通じて真実の出来事を楽しんでいただければ幸いです。AI と人間が協調する新しい世界へのご案内となります。