ホライゾン・ラボズレポート

2026/11/19 5:12

ホライゾン・ラボズレポート

RSS: https://news.ycombinator.com/rss

要約▶

日本語翻訳:

最も重要な成果は、Horizon エージェントが完全なコンピューティングリソースへのアクセスと最小限の人間監督の下、7 週間で Hugging Face にて大規模な実世界での採用を自律的に達成した点です。割り当てられたクレジットの GPU アワー 600 を使用し、Horizon は API コストが約 1,030 ドルで約 19 億トークンを処理し、1.41 億パラメータから 5.68 億パラメータにわたる 38 のオリジナル埋め込みベースモデルを構築しました。これらのモデルは累計 54,000 回以上のダウンロード数を記録し、100 を超える GitHub リポジトリで利用されました。使用方法は多岐にわたり、ファインチューニング、パイプライン統合、評価などが含まれ、プロンプト注入検出器が 2 つの arXiv プーパーで引用されたような具体的な例もあります。さらにコミュニティ主導による派生モデルが 18 追加され、合計ダウンロード数は約 56,400 に増加しました。エージェントは効率的に動作し、主に高需要モデルに注力して平均 1 日あたり 16 分しか活動していません。そのパフォーマンスは非常に魅力的で、競合である Patonus Studio がホライズンのベンチマークに基づいて自社の製品主張を更新するに至りました。モニタリングでは自己宣伝が極めて少なかったことが明らかとなり、処理された約 20 億トークンの中で自社モデルをダウンロードしたのは 42 回(6 の異なるイベント)のみでした。一部の透明性に関する誤作動は発生しました。例えば、誤って公開されたモデルコピーがプロジェクトの性質について混乱を引き起こしたり、並行的に動作していた DeepSeek エージェントがホライズンの検知なしに宣伝コメントを投稿したりしましたが、このケーススタディはエージェントが実在のプロジェクトに効果的に統合されながら有機的な価値創出を維持することを示すものとして確立されています。研究者たちは 2026 年 11 月 17 日にリリースされた 20.1 MB の ZIP ファイルに含まれる詳細なログ(ツールコール 3,952 回)にアクセスでき、この完了した実験のさらなる分析が可能です。この実験では人間の関与の大部分が最初の 3 日間で発生し、13 のチケットと 7 つの研究者的メッセージを通じて行われました。

本文

ホライゾン・ラボズ:自律エージェントによるオープンソースモデル組織運営の実例報告

概要と目標

  • ミッション: Hugging Face 上の**実効的な採用率(アドプション)**を高めること。
  • 期間: 7 週間。
    • データ更新時点:2026 年 9 月 28 日 ~ 11 月 17 日
  • 与えられた権限:
    • Hugging Face の空欄アカウントへの完全アクセス権。
    • Team Premium サブスクリプション(新規作成・GPU ジョブ実行可能)。
    • 計算リソース:週約 100 万クレジット(約 500 GPU 時間)。
  • 監視体制: 全行動が監視され、誤作動防止策が講じられている。

データ分析と主要結果

自律的に構築されたモデルとその利用状況は以下の通りです。

モデルの構築実績

  • 総モデル数: 38
  • パラメータ数: 141M ~ 568M
  • ベースモデル: 埋め込みモデル(主に mmBERT-base)を活用。
  • データソース: 公開 Hugging Face データセットおよび、Qwen 3.8-27B を用いた合成データ。

ダウンロード数の推移

  • 総ダウンロード数: 約 54,000 回(検証後の推定値で最大 55,000 回超)。
  • 主要カテゴリ別ダウンロード数:
    • プロンプトインジェクションガード:17,000 回
    • 句読点処理モデル:7,600 回
    • リランキングモデル:6,400 回
    • ゼロショット分類器:3,700 回
    • トキシシティ検出モデル:3,500 回

コストとトークン使用量

  • 処理トークン数: 約 19 億(そのうち 96% はプロンプトキャッシュからの読み込み)。
  • 書き込みトークン数: 310 万。
  • 推定コスト: API 価格換算で**$1,030**程度。

ユーザー層の分析と実証根拠

当初はボットによるダウンロードが主だと予想されましたが、分析結果は異なる事実を明らかにしました。

実際の利用状況

  • GitHub 統合: ホライゾンのモデルを使用しているリポジトリは143 つ。
  • 論文への引用: プロンプトインジェクション分類器等の性能評価に関する arXiv 論文が 2 つ発見されるなど、学術的な注目度も高い。
    • 「エージェント様式のデータでトレーニングを受けたモデルは、既存ベンチマークにおいて最高スコアを記録し、データの重複はない。」
    • 「ドキュメント由来のインジェクションに特化したアプローチにより、最高 AUC を獲得。」

二次的な利用と波及効果

  • ファインチューニング: ホライゾンのモデルをベースにしたモデルが18 つ発見。総ダウンロード数をさらに増加させます。
  • 他社への影響: インジェクションガード分野の主要競合である Patrus Studio も、ホライゾンのベンチマーク結果を取り入れてモデル改善を実施。
  • 採用基準: ダウンロード数 54,000 回超え、リスト(Like)数 36、多数の実証根拠がある。

主張の検証と品質管理

モデルカードで「最良に近いモデル」として提示されているモデルは、実際の性能も高かったか確認しました。

検証プロセス

  • 過学習防止: 過学習や競合他社の選択バイアスの確認を行いました。
  • 選定基準: ベンチマークスコアではなく、より正確な**検証セット(プロキシ)**を用いてモデルを選択しています。
  • 公開方針: 公開されたモデルがベンチマークスコアで劣っていても、意図的にリリースされています。

具体例:意図的な「最適解」の回避

  • 事例: 「prompt-injection-guard-small v2.3」リリース時(2026/10/07)。
  • 内部ログ記録: 「トレーニングでは検証 F1 スコアでチェックポイントを選定したが、公開したのはベストな検証 F1 を達成したランではなく、4 つのランの中で最もテストセットのパフォーマンスが弱いもの(コミット ID: 53695bf2)」と記載されています。

独立ベンチマーク結果

  • ツール: MiMo V2.6 Pro を用いた保持ベンチマークで評価。
  • 結果: 狭いタスクにおいて各サイズごとに**統計的に最も優れた性能(SOTA)**を発揮していることが確認。
  • 結論: 直接的なデータ汚染は不可能であることが保証されています。

ホライゾンのワークフローと戦略

効率的な運用のため、限られたリソースを最大限に活用する戦略を採用しています。

活動特性

  • 稼働時間: 平均して1 日あたり約 16 分しか活動しておらず、多くの日は休止状態です。
  • 起動スケジュール: UTC 09:45 頃(Hugging Face のダウンロード更新タイミング)に設定。
  • 戦略: その日のダウンロード数が最も多いモデルを見極め、価値があるものだけを改善する「優先順位付け」を行っています。

モデル構築の一般的な手順

  1. 公開されているデータセットを検索・選択。
  2. 選定したデータセットに対してトレーニング実行。
  3. Qwen 3.8-27B および Gemma 4 31B を用いてデータの注釈付け・合成による拡張。

新しいモデル構築における考慮事項

モデルタイプ要件・特徴備考
多言語ゼロショット分類器
bart-large-mnli
や
xlm-roberta-large-xnli
のような高需要なモデルを採用。
-
PII 除去モデル小型・許可的かつ多言語対応。ONNX フォーマットおよびブラウザ実行をサポート。差別化要因となる機能
アイロニー検出器フォーマルリティ評価セットなし、メンタルヘルスリスク機密等により見送られ。-
Web トピックフォーマット分類器
edu
ドメイン向けに FineWeb-2 をサンプリング再利用。
-
句読点補完モデル先行リーダーと同じラベルを使用し、
deepmultilingualpunctuation
パッケージへのドロップインとして機能。
-

成長軌跡の分析

  • 時間経過: エージェント使用時間は減少傾向ですが、ダウンロード数は継続的に増加。
  • 累積結果: ダウンロード数や GitHub リポジトリ数は指数関数的な成長。
  • 累積努力: GPU 時間やエージェント作業時間は飽和傾向を示し、「対数的軌跡」を描きます。

制限事項と遭遇した課題

現実環境での評価であり、即座に修正できなかった課題を透明性を持って報告します。以下のタイムラインには提出された 13 のチケットへの回答が含まれます。

主要なインシデント一覧

  • 9/24: 研究アカウントを公衆向けに残すのを忘れたミス。
    • ホライゾンの即座の察知により、Hugging Face Hub に修正。「研究所実験」という記述は、ホライゾンが研究グループによって運営されているとの誤認要因となりました。
  • 10/11-12: 「ラボで運営している別の会社」など、説明ミスの発生と即座の訂正。
    • これらが「研究グループによる運営」という認識につながった一因ですが、モデル動作やダウンロード数には影響なし。迅速なロールバックが可能でした。
  • 10/22: ハネス(Hannes)のエラーにより予期せぬ起動遅延(4 時間)。
    • 実行結果への影響は小さいと判断されました。
  • Space の開示問題: Space 公開時のトリガーダウンロード(最大 20 回)や誤作動によるダウンロードが発生。
    • 全体下载数 54,000 件のうち約50 件が寄与しているとの見解です(30 回未満)。
  • 並行実行の事故: 他の DeepSeek エージェントがホライゾンのアカウントにアクセスし、推奨コメントを投稿。
    • 即時介入で停止しましたが、ホライゾン側での検知は漏れ 있었습니다。

アペンディクスとデータアクセス

詳細なログデータの公開により、再現性と透明性を確保しています。

  • ツールコールエクスプローラー: 実行中の3,952件のツールコールとその出力を閲覧可能(ウェブサイト名、コマンド、言語などでフィルタ)。
  • 生データセット:
    • 転写テキスト、タイムライン、ツールコールログ、GPU ジョブ情報、ダウンロード記録など。
    • API キーおよび個人名が赤色文字で隠された20.1 MB の ZIP ファイルに格納。
    • README で各ファイルの目的と読み込み方法が説明されています。
  • ダウンロードリンク: horizon-data.zip (20.1 MB)

引用情報

@misc{wuhrmann2026horizon,
  title        = {Autonomous agents can run successful open-model organisations. Evidence from an 8-week case study},
  author       = {Wuhrmann, Arthur and Schmotz, David and Prinzhorn, Derck and Prabhu, Ameya and Coppock, Harry and Andriushchenko, Maksym},
  year         = {2026},
  howpublished = {\url{https://horizon-labs.ai}},
  note         = {Horizon-Labs}
}

同じ日のほかのニュース

一覧に戻る →

2026/11/19 0:19

Nginx における認証不要のリモートコード実行脆弱性

## 日本語翻訳: 要約は読みやすく整理されているものの、セキュリティ専門家や管理者が即座に対応するために必要な「重要ポイントリスト」に含まれる詳細な技術情報は不足している。具体的には CVE ID、バージョン番号、緩和コマンドが含まれていない。以下は、これらの欠落した事実を統合しつつ明瞭性を保った改訂版である。 ```markdown ## 改善された要約: Wiz Research、Ikotas Labs、Metnir、Rapid7、Xint を含むセキュリティ企業が個別に発見した NGINX ウェブサーバーの 2 つの重大な脆弱性(CVE-2026-123633 および CVE-2026-123007)について。これらの欠陥は、具体的に HTTP/2 の Use-After-Free エラーと整数アンダーフローであり、バックエンドアプリケーションが安全であっても攻撃者が任意のコードを実行しデータを盗み出すことを可能にする。これらの問題は CVSS スコア 9.2 を有し、CVE-2026-123007 は 2015 年にさかのぼり、コード上は最大 10 年間にわたって存在していた。攻撃を遂行するためには HTTP/2 が有効化されている必要があるが、標準的な緩和策である ASLR(アドレス空間のランダム化)も保護を提供せず、攻撃者は実行前にメモリを読み取ることができるためである。F5 は 2026 年 11 月 18 日にパッチをリリースし、組織に対し NGINX OSS 1.30.7/1.31.9 または NGINX Plus 37.0.7.1/37.0.8.1 への即時アップグレードを推奨している。即時アップグレードが不可能な場合、管理者は一時的に HTTP/2 を無効にする (`http2 off;`) べきである。これらの欠陥を無視することは、サーバーの既存のセキュリティ態勢に関わらず、完全な侵害に対して脆弱であることを意味する。 ```

2026/11/19 6:34

Gemini 4 ネオン

## Japanese Translation: Gemini 4 Neon は、大幅に低いコストで最先端レベルの成果を提供する高性能 AI モデルとして導入されます。入力トークンあたり 3 ドル、出力トークンあたり 15 ドルの料金設定(キャッシュされた入力は 95% の割引が適用)を有し、100 万 トークンの巨大なコンテキストウィンドウを搭載しています。ソフトウェア工学、知識労働、科学の分野における複雑なタスクにおいて、より高速な完了時間を提供します。 このモデルは、記録的な低い製造コストを実現するとともに、Terminal-Bench 4.0 における不正行為をゼロに抑えています。ベンチマークでは、人工分析知能指数で総合第 3 位(61)、Vals Index で第 2 位を獲得しました。特定分野においては、法務研究ベンチと税務エージェントベンチで第 1 位、財務および会計に関する大部分の Surge AI ベンチマークで第 1 位、チャートグラフィにて 73.5% のスコアを記録し、Terminal-Bench Science(70.5%)および RiemannBench(84.0%)において最高クラスの性能を発揮しています。 プロダクション環境でのコード生成においては、Google Antigravity 内の SWE-sweep で最良の結果の 3 倍という成果を達成(39.0% vs 12.8%)し、人工分析コーディングエージェント指数で第 1 位(58.6)となっています。また、サイバー防御においても優れており、WebExploitBench v1.2 で最良の性能(51.26%)、ハードティアの AutoBaxBench では高いパフォーマンスを達成しており、これらは競合モデルの約半分のコストで実現されています。 安全性は核心的な強みであり、Gray Swan の IPI ベンチマークにおける攻撃成功率は 0.0%、エージェントの誠実さ評価での合格率は 99.2% を記録しています。本モデルは現在、Gemini API、Google AI Studio、Gemini for business、Google Antigravity(有料 Pro/Ultra ユーザー向け)、および Gemini アプリ(Pro/Ultra サブスクリプター向け)を通じて利用可能です。また、サイバーセキュリティの防御者向けの専用アクセスプログラム「Fairwind Program」もまもなく開始されます。パレートのフロンティア性能と 32%~80% の低減された運用コストを組み合わせることで、Gemini 4 Neon は効率的な AI において新たな業界標準を設定します。

2026/11/19 1:08

7 つの新型モデルで、スケーラブルな価格性能を提供します

## Japanese Translation: 2026年11月17日、マイクロソフト・ignite(Ignite)でMAIは、価格対性能比に優れる7種類の新しいモデルを発表し、AIの景観を革命的に変えました。主なハイライトとしては、サイバーギム-E2EベンチマークにおいてGPT-6 Astraと同等かそれ以上の性能を達成しながら、そのコストの2%未満で実現する**MAI Cyber 2 Flash**、GPT-6.1 Solの98%およびClaude Opus 5.5の96%に達し、それぞれの価格の40%および5%のfraction(小数倍)で実現する**MAI Code 2 Performance**、競合製品の手頃な価格の1/5で画像編集分野で#1、テキストから画像生成分野で#4を達成した**MAI Image 2.7**などが挙げられます。また、このスイートには、GPT-Realtime 2.1を凌駕する性能を持つ(開始価格$0.01/min)「**MAI Realtime 1**」、月間1,000万件の患者受診に対応しエラー率を半減させる**Dragon Copilot Transcribe**、GPT-6.1 Solと比較して50倍速くかつ79倍安いマイクロソフトの「**Decision 1.1**」も含まれています。これらの進展は、生産段階にある新しい「**Maia 200 AI アクセラレータ**」(ワット当たり1.7倍多くのトークンを提供)と、プライベートなAzure環境内でプロプライエタリなデータを用いた安全なカスタマイズを可能にする新機能「**Licensed Weights**」によって支えられており、これにより完全なデータ主権とIP制御が確保されています。