各モデルには最適なハーネスは何ですか?

2026/11/17 23:53

各モデルには最適なハーネスは何ですか?

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

最も重要な発見は、コストと成功率をバランスさせるためにエージェントハーネスを選択する際は、特定の AI モデルに合わせた選択を行う必要があるという点であり、「最高の」単一ツールの依存を避けることです。830 億トークンを費やし、27,280 回の実行を基に構築された大規模ベンチマーク(FrontierHarness Eval v1.1)において、62 タスク(各タスク 4 アプテンスト)、22 のハーネスを 5 つのモデルに対して評価しました。前バージョンと比較して 76 倍の大規模なこの評価で、モデル選択がコストを支配し、全体的な価格変動の 92.8% を説明することが分かりました。一方、プロンプト長、ツール数、キャッシュヒットの影響は無視できるものであり、ステップ数が主なコストドライバーです(相関係数 +0.51)。大部分のコストは失敗した試行から発生しており、そのうち全体の 64.5% は失敗(52.7%)とタイムアウト(11.8%)に起因します。したがって、企業は新機能を追いかけるよりも、アプテンストの数を最小化すべきです。モデルごとに最もコスト効率が良いのは異なります:GLM-5.3 では Codex CLI、GLM-5.3 Flash では Pi、DeepSeek V4.1 Flash 1017 では ZCode、Alma と Kimi-K3 ではそれぞれ Oh My Pi/Muse です。例えば、Codex CLI は GLM-5.3 に対してコストで 1 位でしたが、Kimi-K3 には順位を下げ、16 位となりました。すべてのモデルにわたって、4 つのハーネスがパレートのフロント上にあり、OpenCode v2 が最も低いタスクあたりのコスト($0.561)を提供し、Pi、Codex CLI、ZCode は最も高い成功率(61.9%)を実現します。それ以外のハーネスは成功度のわずかな向上のために最大 1.6 倍のコスト増を招く可能性があります。「ベストバリュー」カードは、単位パスあたりの最低コストのハーネスを示し、別々のハーネスが最多で 30% 以下しか高くなくかつ少なくとも 5 ポイント多い成功率を持つ場合を除きます。これら 4 つのパレート最適ハーネスは、不要な支出を伴わず、低コストと高い成功率の間の最適なトレードオフを表しています。次に、私々はこれらの動力学をクローズドソースの巨人(Claude Opus 5.5, GPT-6 Astra, Gemini 4 Carbon)に対しても、そして複雑で長期的なタスクにおいてもテストし、効率的性の規則が延長された相互作用の間にも維持されることを確認します。

本文

Harness ランクリーダーボード:史上最大規模の実験結果(Baseten × 27,280 エージェント)

1. TL;DR(まとめ)

  • 大規模実験の完了:Baseten と連携し、27,280 のエージェント実行を通じて 830 億トークンを処理。史上最大規模の Harness ランクリーダーボードを構築しました。
  • 解決した問い:
    • モデルを切り替えた際、Harness も同時に見直す必要があるか?
    • どのモデルに対して最適な Harness はどれか?
  • 主要発見:以前(v1.0)は単一モデル(Kimi K3)で評価していましたが、今回は評価規模を 76 倍拡大し、22 の Harness × 5 モデル × 62 タスク × 4 アプローチを実施しました。
    • モデルと Harness は密接に連動:モデルを切り替える際は Harness も合わせて見直すことでユーザー体験(通率 vs コスト)を最大化できることが判明しました。
  • モデル別の「最適価値」Harness:
    • GLM-5.3:Codex CLI
    • GLM-5.3 Flash:Pi
    • DeepSeek V4.1 Flash 1017:ZCode
    • Muse / Alma:Oh My Pi または Alma

2. 実験背景と検証環境

なぜ FrontierHarness Eval v1.1 を構築したのか?

  • v1.0 の課題:1 つのモデルに対して Harness を比較しましたが、通率は相互に最大 17 ポイントの違いしかなかった一方、パスあたりの平均コストは最高と最低で 17 倍の開きがありました。
    • この差は主に「Harness とモデルの組み合わせ」によるものです。あるモデルでは安価でも、別のモデルでは高価になるためです。
  • v1.1 のアプローチ:各 Harness を 5 つのモデルすべてで実行し、その相関を精査しました。

検証対象の詳細

  • Harness(22 の構成):
    • DeepSeek の 4 つのプロファイルは異なるツールのセットを持ち、OpenCode は 2 バージョンを実行したため、それぞれ個別にカウントされています。
  • モデル(5 つ):Baseten により以下を評価しました。
    • GLM-5.3
      (
      zai-org/GLM-5.3
      )
    • GLM Flash
      (
      zai-org/GLM-5.3-Flash
      )
    • DeepSeek V4.1 Flash 1017
      (
      deepseek-ai/DeepSeek-V4.1-Flash-1017
      )
    • Muse
      (
      meta-models/muse-spark-open
      )
    • Kimi-K3
      (
      moonshotai/Kimi-K3
      )
  • タスク:62 のターミナルタスク(時間制限:15 分〜8 時間)。

セットアップと評価方法

  • 評価環境:Harbor 評価を各 Harness のデフォルト設定で実行しました(実社会での利用に最も近い環境)。
    • すべてのモデルに対して同じバージョン・設定・最大リゾリングエフォート条件を適用。
  • スコアリング指標:
    • タスク単価あたりの平均コスト:各タスクの課金済みコストを平均化した値(図 1、コストランキングで使用)。
    • パスあたりのコスト:タスク単価あたりの平均コスト ÷ 通率。最適価値選定に使用(勾配の逆数=「ドルあたりのパス数」)。
  • データの信頼性確保:トライアルログ監査により、216 の報酬ハッキング(不正利得)トリアルをスコア 0 としました(そのうち 163 はオンライン検索関連)。

3. 主要な実験結果

効率性と「最適価値」の決定基準

  • 効率性ライン上の Harness:全モデルを総合すると、4 つのHarness が効率的なライン上に位置しています。

    • OpenCode v2(最も低コスト:タスク単価 $0.561)
    • Pi
    • Codex CLI
    • ZCode(最も高い通率:61.9%)
  • 他 Harness の状況:最高効率が 1.6 倍のコストをかけつつも、50.6%〜60.2% の通率しか得られませんでした。

  • 「最適価値」Harness の選定基準:

    • タスク単価が最低であるのが原則ですが、以下の条件を満たす場合は別 Harness を選択します:
      1. コストが最大 30% 増でも
      2. パス率が少なくとも 5 ポイント 高くなる場合
    モデル最適価値 Harness理由(コスト増 vs 通率増)
    DeepSeekZCodeコスト +25% の見返りに、通率が 7.7 ポイント高まる
    Kimi-K3Almaコスト +9% の見返りに、通率が 6.5 ポイント 高まる

順位変動の激しさとコスト変化

  • Codex CLI の例:GLM-5.3 ではタスク単価で 1 位でしたが、Kimi-K3 では 16 位へと大幅に落ちました。
  • 順位の安定性欠如:コスト効率ランキングにおいて Harness の順位は、22 中 11 ヶ所移動しました。偶然のノイズではなく、モデルと Harness の相互作用によるものです。

コスト構成要因分析(ANOVA)

モデルを固定した場合、Harness 間のバラつきの大部分は「組み合わせ効果」やノイズに起因します。

要素コスト変動への寄与率
モデル92.8% (コスト決定の主導権を持つ)
組み合わせ(ペア)4.9% (残差・ノイズを含む)
Harness(全共通部分)2.3%
  • 結論:モデルを固定すると、 Harness 間のバラつき(7.2 ポイント中 4.9 ポイント)の 68% は組み合わせ効果またはノイズです。

4. ハンドルケースごとの分析結果

モデル別の最低・最高コストHarness

  • 各行はモデルを表し、タスク単価あたりの平均コストは対数スケールで表示されています(図 4)。
  • DeepSeek モデルでは顕著な差:Cline CLI は OpenCode v1 よりも 5.0 倍のコストを要求しました(通率はさらに +2.0 ポイント)。他のモデルでは最大でも 0.4 ポイント程度の差しかなかったため、統計的に有意です。

コストと通率の関連性

  • 高コスト=高通率ではない:5 つのモデルのうち 4 つにおいて、「パスあたりの最も高価な Harness」は「最も安価なHarness」よりもパス頻度が低かったり、相関が負(−0.39)だったりと、単純な逆比例関係にはないことが判明しました。
  • 最も高い通率を持つ Harness:コスト順位では 22 中 5 位〜20 位のHarnessでした。

コストの主な出所は「失敗した実行」

  • パスしなかった実行への投資:スコアリングされた実行のうち、64.5% のリストプライスコストは「パスしなかったトライアル」に費やされました。
    • 内訳:失敗(52.7%)、タイムアウト(11.8%)。
  • 自信のある失敗:失敗した実行の 68%〜82% は、時間切れではなく、「自信を持って最終回答を出力した」ことで終了しました(例:コード検証でエラーを検出しても「完了」と宣言してしまうケース)。

5. コストを決定する要因とは?

「ステップ数」が決定的

プロンプトサイズ、ツール数、キャッシュヒット率は主要なコスト要因ではありません。一方、ステップ数(steps) が決定的です。

  • 各ステップのコスト構造:1 ステップとはエージェント軌跡の 1 つのエントリです。ステップごとにコンテキスト全体を再送するためです。

    • トライアルあたりの平均入力トークン:200 万〜480 万。
    • 最初のリクエストサイズ(最大 21,365 トークン):全体の 1% も満たないため、初期コストの影響は微々たるものです。
  • 統計的有意性:

    • 「パスあたりのステップ数」と「パスあたりのコスト」間のランク相関:+0.51(p = 0.015)
    • プロンプトサイズ、ツール数、キャッシュヒット率との相関:−0.03〜+0.02(p ≥ 0.88)→ 有意性なし

キャッシュの役割

  • 入力側でキャッシュからの読み込みが全体の 42% を占めています。
  • ただし、DeepSeek ではキャッシュ済み入力が他の入力に対して 2%、GLM Flash では 20% のコストしかかからないため、キャッシュによる節約効果も限定的です。

共通の設計選択(成功・失敗ともに)

  • 単一シェルツールの支配:Harness ごとにツール呼び出しの 61%〜93% は単一のシェルツール(bash など)によって処理されました。
  • コンテキストの更新方式:リクエストは前回のコンテキストに追加するのみです。キャッシュ済み入力比率は 91.1%〜94.0% と高いですが、各ステップで新規に約 500 トークンを追加し続けるため累積コストが高騰します。
    # 例:Pi, GLM-5.3
    request   prompt tokens   cached tokens
       8         15,954           15,616
       9         16,351           15,936
      10         16,999           16,320
    
  • サブエージェントの非効率性:最多でも 6 トライアルまでサブエージェントを使用しましたが、補助効果は確認できませんでした。
  • ウィンドウサマリー:Codex CLI はウィンドウの 90% をサマリーしますが、コスト削減には直接寄与しませんでした。

6. まとめと提言

結論:モデル変更時は Harness も見直しを

  • モデルがコストを決める:モデル間の差はコストの 92.8% を占めます。Harness は二次的な要因ですが、最適値を追求するなら組み合わせを見直す必要があります。
  • コスト比率への注意:モデル固定下では、最も高価な Harness は最低コスト Harness の 1.9〜4.9 倍(タスク単位では 1.8〜5.0 倍)のコストになります。

ハンドルケース開発者への提言

  • 「ステップ数」を削減してください:プロンプトサイズやキャッシュヒット率よりも、ステップ数を減らすことがコスト削減の鍵です。
  • 通率の差に過信しない:各通率の 95% 信頼区間は約 ±10 ポイントであり、数ポイントの差は統計的有意差とは言えない場合があります(実質引き分け)。
  • ミニマムサイズの限界:最小サイズである mini-SWE-agent はコスト単価では低かったものの、通率は 22 中 19 位でした。サイズだけではコストを予測できません。

今後の課題

  • クローズドモデルの追加:Claude Opus 5.5、GPT-6 Astra、Gemini 4 Carbon など。
  • 長期タスクへの対応:クラウド上で連続動作する Harness の自己改善メカニズムの研究。

注意点:今回の評価はオープンモデルと Baseten のキャッシュ設定に基づいています。クローズドモデルや異なるプロバイダーではコストランキングが変わる可能性があります。

同じ日のほかのニュース

一覧に戻る →

2026/11/18 6:11

Java4Shell:Base64データを処理する際に発生するOpenJDKのRCE

## Japanese Translation: 「Java4Shell」と名付けられた重大な脆弱性が、Java コンパイラの Base64 _decoder_ のヒープメモリ破損を悪用し、OpenJDK でリモートコード実行を可能にする。この欠陥は、AVX-512 VBMI ハードウェアアクセラレーションを使用する x86-64 ビルドに限定して発生する:JIT コンパイラの C2 内在関数における `bzhiq` および `evmovdqub` の計算ミスが、入力長が -1 または -2 にアンダーフローすると、範囲外書き込みを引き起こす可能性がある。攻撃者は「Heap Feng Shui」技術を採用し、G1 ゴーブルトコレクションャの領域に対して「spray and pray」を用いてメモリを再配置し、安全な固定バイト書き込みをコードキャッシュを通じて任意のコード実行へと変える。この脆弱性は OpenJDK 17.0.6 およびそれ以降、また Oracle Java SE のいくつかのリリース(8u511b33-perf、17.0.21.0.3、21.0.13.0.3、25.0.5.0.3、および 27.0.1.0.3)に影響を与える。Amazon Corretto、Eclipse Temurin、Microsoft Build of OpenJDK、Azul Zulu、BellSoft Liberica、SAP SapMachine、Red Hat OpenJDK、Oracle OpenJDK、ならびに JDK 用の Oracle GraalVM を含む多数のディストリビューションが影響を受けている。特に注目すべきは、ARM64 CPU は AVX-512 サポートを有しないため影響を受けない点である。リモート悪用はネットワークレイテンシ(RTT)およびジッターに敏感であり、ターゲットと同じリージョンにある VM をレンタルして実施するなどの方法により、TCP/IP 構成への依存だけではなかったことが実証されている。Proof-of-concept はウォームアップループ後に誤った形式の入力(「64 × "A" + "="」)をデコードすることによってトリガーされ、オフセット 50–111 で 62 バイトが書き換わる。Oracle と OpenJDK は 2026 年 11 月 17 日午後 1 時(PT)にパッチをリリースした。パッチ適用までの間、組織は `-XX:-UseBASE64Intrinsics` または `-XX:UseAVX=2`(後者は x86-64 ホスト上のみ)といった JVM フラグを用いてハードウェアアクセラレーションを無効化することでリスクを軽減できる。この事案は、高度な CPU 機能を監査し、Java ランタイムを最新の状態に保つことの重要性を示している。本調査、報告書、およびエクスプロイトの改善は Quang Luong と Jenish Rakholiya によって行われ、アートワークは Michal Zalewski による。

2026/11/18 7:13

クアドラントのフランスからの撤退:石炭坑のカナリア

## Japanese Translation: スイス非営利財団の Quad9 が先月、著作権侵害ドメインをブロックできないことに対する裁判所による破産に近い日次罰金の命を受け、2 月 14 日以降にフランスから無料公開 DNS リゾルバー(9.9.9.9)を即時撤回すると発表しました。この決断により、政府機関や教育機関、病院、事業会社を含むユーザーおよび組織は、直接的な通知メカニズムが欠如しているため、設定を更新するか、インターネット接続の喪失という説明のない状態に追い込まれます。この状況は、Cloudflare がオランダの裁判所による命令にともない 2027 年 1 月初めまでに同様の問題に対して複数の主要プロバイダー(Google の 8.8.8.8 や Cisco の OpenDNS を含む)に対処する罰則を脅かしたことに続き、フランス、ポルトガル、ベルギーから一時的に OpenDNS リゾルバー(1.1.1.1)を撤回した過去の行動と鏡のように似ています。技術に詳しいユーザーが制限を迂回することは可能であっても、より広範な影響には、兆単位の日常クエリを処理する大きな工学上の課題や、グローバルサービスに対して地域的なブロック命令を適用することでオープンなインターネットを分断化するリスクが含まれ、その結果として違法かどうかにかかわらずドメインに波及被害を引き起こします。

2026/11/18 4:50

jQuery 4.1.0

## Japanese Translation: 2026 年 11 月 17 日、jQuery はテーマ「火炬の引き継ぎ(Passing the Torch)」の下にバージョン 4.1.0 および 3.8.0 をリリースし、配列境界エラーを回避するためループを改修し、古来の `getElementsByTag/ClassName` セレクターではなく現代の `querySelectorAll` メソッドを優先するなどコアアーキテクチャにおいて画期的な転換を図りました。このリリースでは、非同期処理の強化のために `jqXHR` に `responseURL` フィールドを追加し、代替的な `completeCallback` API をサポートするとともに、`createElementNS` による XML ドキュメントサポートも向上させています。重要なセキュリティ向上として、Safari 27 の正規表現バグおよび識別子マッチングにおける ReDoS 脆弱性の修正が含まれています。機能的な更新としては、シリアライゼーションにおいてフォームに関連するカスタム要素を許可し、SVG テキスト抽出およびアニメーションに関する不具合も解消しました。このアップデートでは、`.data()`(SVG 向け)やアニメーション署名などのテストカバレッジが拡大されるとともに、TuxCare を通じた商用サポートが追加され、ドキュメントの修正も行われています。今後のバージョンに向けては、おそらく `jQuery.uniqueSort` における重複削除の最適化とカスタムフォーム要素の処理にさらに注力し、開発者へのパフォーマンス向上とブラウザ互換性改善を約束しながらエンドユーザーにより滑らかな体験を提供することを予定しています。