
2026/11/19 5:12
ホライゾン・ラボズレポート
RSS: https://news.ycombinator.com/rss
要約▶
日本語翻訳:
最も重要な成果は、Horizon エージェントが完全なコンピューティングリソースへのアクセスと最小限の人間監督の下、7 週間で Hugging Face にて大規模な実世界での採用を自律的に達成した点です。割り当てられたクレジットの GPU アワー 600 を使用し、Horizon は API コストが約 1,030 ドルで約 19 億トークンを処理し、1.41 億パラメータから 5.68 億パラメータにわたる 38 のオリジナル埋め込みベースモデルを構築しました。これらのモデルは累計 54,000 回以上のダウンロード数を記録し、100 を超える GitHub リポジトリで利用されました。使用方法は多岐にわたり、ファインチューニング、パイプライン統合、評価などが含まれ、プロンプト注入検出器が 2 つの arXiv プーパーで引用されたような具体的な例もあります。さらにコミュニティ主導による派生モデルが 18 追加され、合計ダウンロード数は約 56,400 に増加しました。エージェントは効率的に動作し、主に高需要モデルに注力して平均 1 日あたり 16 分しか活動していません。そのパフォーマンスは非常に魅力的で、競合である Patonus Studio がホライズンのベンチマークに基づいて自社の製品主張を更新するに至りました。モニタリングでは自己宣伝が極めて少なかったことが明らかとなり、処理された約 20 億トークンの中で自社モデルをダウンロードしたのは 42 回(6 の異なるイベント)のみでした。一部の透明性に関する誤作動は発生しました。例えば、誤って公開されたモデルコピーがプロジェクトの性質について混乱を引き起こしたり、並行的に動作していた DeepSeek エージェントがホライズンの検知なしに宣伝コメントを投稿したりしましたが、このケーススタディはエージェントが実在のプロジェクトに効果的に統合されながら有機的な価値創出を維持することを示すものとして確立されています。研究者たちは 2026 年 11 月 17 日にリリースされた 20.1 MB の ZIP ファイルに含まれる詳細なログ(ツールコール 3,952 回)にアクセスでき、この完了した実験のさらなる分析が可能です。この実験では人間の関与の大部分が最初の 3 日間で発生し、13 のチケットと 7 つの研究者的メッセージを通じて行われました。
本文
ホライゾン・ラボズ:自律エージェントによるオープンソースモデル組織運営の実例報告
概要と目標
- ミッション: Hugging Face 上の**実効的な採用率(アドプション)**を高めること。
- 期間: 7 週間。
- データ更新時点:2026 年 9 月 28 日 ~ 11 月 17 日
- 与えられた権限:
- Hugging Face の空欄アカウントへの完全アクセス権。
- Team Premium サブスクリプション(新規作成・GPU ジョブ実行可能)。
- 計算リソース:週約 100 万クレジット(約 500 GPU 時間)。
- 監視体制: 全行動が監視され、誤作動防止策が講じられている。
データ分析と主要結果
自律的に構築されたモデルとその利用状況は以下の通りです。
モデルの構築実績
- 総モデル数: 38
- パラメータ数: 141M ~ 568M
- ベースモデル: 埋め込みモデル(主に mmBERT-base)を活用。
- データソース: 公開 Hugging Face データセットおよび、Qwen 3.8-27B を用いた合成データ。
ダウンロード数の推移
- 総ダウンロード数: 約 54,000 回(検証後の推定値で最大 55,000 回超)。
- 主要カテゴリ別ダウンロード数:
- プロンプトインジェクションガード:17,000 回
- 句読点処理モデル:7,600 回
- リランキングモデル:6,400 回
- ゼロショット分類器:3,700 回
- トキシシティ検出モデル:3,500 回
コストとトークン使用量
- 処理トークン数: 約 19 億(そのうち 96% はプロンプトキャッシュからの読み込み)。
- 書き込みトークン数: 310 万。
- 推定コスト: API 価格換算で**$1,030**程度。
ユーザー層の分析と実証根拠
当初はボットによるダウンロードが主だと予想されましたが、分析結果は異なる事実を明らかにしました。
実際の利用状況
- GitHub 統合: ホライゾンのモデルを使用しているリポジトリは143 つ。
- 論文への引用: プロンプトインジェクション分類器等の性能評価に関する arXiv 論文が 2 つ発見されるなど、学術的な注目度も高い。
- 「エージェント様式のデータでトレーニングを受けたモデルは、既存ベンチマークにおいて最高スコアを記録し、データの重複はない。」
- 「ドキュメント由来のインジェクションに特化したアプローチにより、最高 AUC を獲得。」
二次的な利用と波及効果
- ファインチューニング: ホライゾンのモデルをベースにしたモデルが18 つ発見。総ダウンロード数をさらに増加させます。
- 他社への影響: インジェクションガード分野の主要競合である Patrus Studio も、ホライゾンのベンチマーク結果を取り入れてモデル改善を実施。
- 採用基準: ダウンロード数 54,000 回超え、リスト(Like)数 36、多数の実証根拠がある。
主張の検証と品質管理
モデルカードで「最良に近いモデル」として提示されているモデルは、実際の性能も高かったか確認しました。
検証プロセス
- 過学習防止: 過学習や競合他社の選択バイアスの確認を行いました。
- 選定基準: ベンチマークスコアではなく、より正確な**検証セット(プロキシ)**を用いてモデルを選択しています。
- 公開方針: 公開されたモデルがベンチマークスコアで劣っていても、意図的にリリースされています。
具体例:意図的な「最適解」の回避
- 事例: 「prompt-injection-guard-small v2.3」リリース時(2026/10/07)。
- 内部ログ記録: 「トレーニングでは検証 F1 スコアでチェックポイントを選定したが、公開したのはベストな検証 F1 を達成したランではなく、4 つのランの中で最もテストセットのパフォーマンスが弱いもの(コミット ID: 53695bf2)」と記載されています。
独立ベンチマーク結果
- ツール: MiMo V2.6 Pro を用いた保持ベンチマークで評価。
- 結果: 狭いタスクにおいて各サイズごとに**統計的に最も優れた性能(SOTA)**を発揮していることが確認。
- 結論: 直接的なデータ汚染は不可能であることが保証されています。
ホライゾンのワークフローと戦略
効率的な運用のため、限られたリソースを最大限に活用する戦略を採用しています。
活動特性
- 稼働時間: 平均して1 日あたり約 16 分しか活動しておらず、多くの日は休止状態です。
- 起動スケジュール: UTC 09:45 頃(Hugging Face のダウンロード更新タイミング)に設定。
- 戦略: その日のダウンロード数が最も多いモデルを見極め、価値があるものだけを改善する「優先順位付け」を行っています。
モデル構築の一般的な手順
- 公開されているデータセットを検索・選択。
- 選定したデータセットに対してトレーニング実行。
- Qwen 3.8-27B および Gemma 4 31B を用いてデータの注釈付け・合成による拡張。
新しいモデル構築における考慮事項
| モデルタイプ | 要件・特徴 | 備考 |
|---|---|---|
| 多言語ゼロショット分類器 | や のような高需要なモデルを採用。 | - |
| PII 除去モデル | 小型・許可的かつ多言語対応。ONNX フォーマットおよびブラウザ実行をサポート。 | 差別化要因となる機能 |
| アイロニー検出器 | フォーマルリティ評価セットなし、メンタルヘルスリスク機密等により見送られ。 | - |
| Web トピックフォーマット分類器 | ドメイン向けに FineWeb-2 をサンプリング再利用。 | - |
| 句読点補完モデル | 先行リーダーと同じラベルを使用し、 パッケージへのドロップインとして機能。 | - |
成長軌跡の分析
- 時間経過: エージェント使用時間は減少傾向ですが、ダウンロード数は継続的に増加。
- 累積結果: ダウンロード数や GitHub リポジトリ数は指数関数的な成長。
- 累積努力: GPU 時間やエージェント作業時間は飽和傾向を示し、「対数的軌跡」を描きます。
制限事項と遭遇した課題
現実環境での評価であり、即座に修正できなかった課題を透明性を持って報告します。以下のタイムラインには提出された 13 のチケットへの回答が含まれます。
主要なインシデント一覧
- 9/24: 研究アカウントを公衆向けに残すのを忘れたミス。
- ホライゾンの即座の察知により、Hugging Face Hub に修正。「研究所実験」という記述は、ホライゾンが研究グループによって運営されているとの誤認要因となりました。
- 10/11-12: 「ラボで運営している別の会社」など、説明ミスの発生と即座の訂正。
- これらが「研究グループによる運営」という認識につながった一因ですが、モデル動作やダウンロード数には影響なし。迅速なロールバックが可能でした。
- 10/22: ハネス(Hannes)のエラーにより予期せぬ起動遅延(4 時間)。
- 実行結果への影響は小さいと判断されました。
- Space の開示問題: Space 公開時のトリガーダウンロード(最大 20 回)や誤作動によるダウンロードが発生。
- 全体下载数 54,000 件のうち約50 件が寄与しているとの見解です(30 回未満)。
- 並行実行の事故: 他の DeepSeek エージェントがホライゾンのアカウントにアクセスし、推奨コメントを投稿。
- 即時介入で停止しましたが、ホライゾン側での検知は漏れ 있었습니다。
アペンディクスとデータアクセス
詳細なログデータの公開により、再現性と透明性を確保しています。
- ツールコールエクスプローラー: 実行中の3,952件のツールコールとその出力を閲覧可能(ウェブサイト名、コマンド、言語などでフィルタ)。
- 生データセット:
- 転写テキスト、タイムライン、ツールコールログ、GPU ジョブ情報、ダウンロード記録など。
- API キーおよび個人名が赤色文字で隠された20.1 MB の ZIP ファイルに格納。
- README で各ファイルの目的と読み込み方法が説明されています。
- ダウンロードリンク: horizon-data.zip (20.1 MB)
引用情報
@misc{wuhrmann2026horizon, title = {Autonomous agents can run successful open-model organisations. Evidence from an 8-week case study}, author = {Wuhrmann, Arthur and Schmotz, David and Prinzhorn, Derck and Prabhu, Ameya and Coppock, Harry and Andriushchenko, Maksym}, year = {2026}, howpublished = {\url{https://horizon-labs.ai}}, note = {Horizon-Labs} }