
2026/11/17 23:53
各モデルには最適なハーネスは何ですか?
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
最も重要な発見は、コストと成功率をバランスさせるためにエージェントハーネスを選択する際は、特定の AI モデルに合わせた選択を行う必要があるという点であり、「最高の」単一ツールの依存を避けることです。830 億トークンを費やし、27,280 回の実行を基に構築された大規模ベンチマーク(FrontierHarness Eval v1.1)において、62 タスク(各タスク 4 アプテンスト)、22 のハーネスを 5 つのモデルに対して評価しました。前バージョンと比較して 76 倍の大規模なこの評価で、モデル選択がコストを支配し、全体的な価格変動の 92.8% を説明することが分かりました。一方、プロンプト長、ツール数、キャッシュヒットの影響は無視できるものであり、ステップ数が主なコストドライバーです(相関係数 +0.51)。大部分のコストは失敗した試行から発生しており、そのうち全体の 64.5% は失敗(52.7%)とタイムアウト(11.8%)に起因します。したがって、企業は新機能を追いかけるよりも、アプテンストの数を最小化すべきです。モデルごとに最もコスト効率が良いのは異なります:GLM-5.3 では Codex CLI、GLM-5.3 Flash では Pi、DeepSeek V4.1 Flash 1017 では ZCode、Alma と Kimi-K3 ではそれぞれ Oh My Pi/Muse です。例えば、Codex CLI は GLM-5.3 に対してコストで 1 位でしたが、Kimi-K3 には順位を下げ、16 位となりました。すべてのモデルにわたって、4 つのハーネスがパレートのフロント上にあり、OpenCode v2 が最も低いタスクあたりのコスト($0.561)を提供し、Pi、Codex CLI、ZCode は最も高い成功率(61.9%)を実現します。それ以外のハーネスは成功度のわずかな向上のために最大 1.6 倍のコスト増を招く可能性があります。「ベストバリュー」カードは、単位パスあたりの最低コストのハーネスを示し、別々のハーネスが最多で 30% 以下しか高くなくかつ少なくとも 5 ポイント多い成功率を持つ場合を除きます。これら 4 つのパレート最適ハーネスは、不要な支出を伴わず、低コストと高い成功率の間の最適なトレードオフを表しています。次に、私々はこれらの動力学をクローズドソースの巨人(Claude Opus 5.5, GPT-6 Astra, Gemini 4 Carbon)に対しても、そして複雑で長期的なタスクにおいてもテストし、効率的性の規則が延長された相互作用の間にも維持されることを確認します。
本文
Harness ランクリーダーボード:史上最大規模の実験結果(Baseten × 27,280 エージェント)
1. TL;DR(まとめ)
- 大規模実験の完了:Baseten と連携し、27,280 のエージェント実行を通じて 830 億トークンを処理。史上最大規模の Harness ランクリーダーボードを構築しました。
- 解決した問い:
- モデルを切り替えた際、Harness も同時に見直す必要があるか?
- どのモデルに対して最適な Harness はどれか?
- 主要発見:以前(v1.0)は単一モデル(Kimi K3)で評価していましたが、今回は評価規模を 76 倍拡大し、22 の Harness × 5 モデル × 62 タスク × 4 アプローチを実施しました。
- モデルと Harness は密接に連動:モデルを切り替える際は Harness も合わせて見直すことでユーザー体験(通率 vs コスト)を最大化できることが判明しました。
- モデル別の「最適価値」Harness:
- GLM-5.3:Codex CLI
- GLM-5.3 Flash:Pi
- DeepSeek V4.1 Flash 1017:ZCode
- Muse / Alma:Oh My Pi または Alma
2. 実験背景と検証環境
なぜ FrontierHarness Eval v1.1 を構築したのか?
- v1.0 の課題:1 つのモデルに対して Harness を比較しましたが、通率は相互に最大 17 ポイントの違いしかなかった一方、パスあたりの平均コストは最高と最低で 17 倍の開きがありました。
- この差は主に「Harness とモデルの組み合わせ」によるものです。あるモデルでは安価でも、別のモデルでは高価になるためです。
- v1.1 のアプローチ:各 Harness を 5 つのモデルすべてで実行し、その相関を精査しました。
検証対象の詳細
- Harness(22 の構成):
- DeepSeek の 4 つのプロファイルは異なるツールのセットを持ち、OpenCode は 2 バージョンを実行したため、それぞれ個別にカウントされています。
- モデル(5 つ):Baseten により以下を評価しました。
(GLM-5.3
)zai-org/GLM-5.3
(GLM Flash
)zai-org/GLM-5.3-Flash
(DeepSeek V4.1 Flash 1017
)deepseek-ai/DeepSeek-V4.1-Flash-1017
(Muse
)meta-models/muse-spark-open
(Kimi-K3
)moonshotai/Kimi-K3
- タスク:62 のターミナルタスク(時間制限:15 分〜8 時間)。
セットアップと評価方法
- 評価環境:Harbor 評価を各 Harness のデフォルト設定で実行しました(実社会での利用に最も近い環境)。
- すべてのモデルに対して同じバージョン・設定・最大リゾリングエフォート条件を適用。
- スコアリング指標:
- タスク単価あたりの平均コスト:各タスクの課金済みコストを平均化した値(図 1、コストランキングで使用)。
- パスあたりのコスト:タスク単価あたりの平均コスト ÷ 通率。最適価値選定に使用(勾配の逆数=「ドルあたりのパス数」)。
- データの信頼性確保:トライアルログ監査により、216 の報酬ハッキング(不正利得)トリアルをスコア 0 としました(そのうち 163 はオンライン検索関連)。
3. 主要な実験結果
効率性と「最適価値」の決定基準
-
効率性ライン上の Harness:全モデルを総合すると、4 つのHarness が効率的なライン上に位置しています。
- OpenCode v2(最も低コスト:タスク単価 $0.561)
- Pi
- Codex CLI
- ZCode(最も高い通率:61.9%)
-
他 Harness の状況:最高効率が 1.6 倍のコストをかけつつも、50.6%〜60.2% の通率しか得られませんでした。
-
「最適価値」Harness の選定基準:
- タスク単価が最低であるのが原則ですが、以下の条件を満たす場合は別 Harness を選択します:
- コストが最大 30% 増でも
- パス率が少なくとも 5 ポイント 高くなる場合
モデル 最適価値 Harness 理由(コスト増 vs 通率増) DeepSeek ZCode コスト +25% の見返りに、通率が 7.7 ポイント高まる Kimi-K3 Alma コスト +9% の見返りに、通率が 6.5 ポイント 高まる - タスク単価が最低であるのが原則ですが、以下の条件を満たす場合は別 Harness を選択します:
順位変動の激しさとコスト変化
- Codex CLI の例:GLM-5.3 ではタスク単価で 1 位でしたが、Kimi-K3 では 16 位へと大幅に落ちました。
- 順位の安定性欠如:コスト効率ランキングにおいて Harness の順位は、22 中 11 ヶ所移動しました。偶然のノイズではなく、モデルと Harness の相互作用によるものです。
コスト構成要因分析(ANOVA)
モデルを固定した場合、Harness 間のバラつきの大部分は「組み合わせ効果」やノイズに起因します。
| 要素 | コスト変動への寄与率 |
|---|---|
| モデル | 92.8% (コスト決定の主導権を持つ) |
| 組み合わせ(ペア) | 4.9% (残差・ノイズを含む) |
| Harness(全共通部分) | 2.3% |
- 結論:モデルを固定すると、 Harness 間のバラつき(7.2 ポイント中 4.9 ポイント)の 68% は組み合わせ効果またはノイズです。
4. ハンドルケースごとの分析結果
モデル別の最低・最高コストHarness
- 各行はモデルを表し、タスク単価あたりの平均コストは対数スケールで表示されています(図 4)。
- DeepSeek モデルでは顕著な差:Cline CLI は OpenCode v1 よりも 5.0 倍のコストを要求しました(通率はさらに +2.0 ポイント)。他のモデルでは最大でも 0.4 ポイント程度の差しかなかったため、統計的に有意です。
コストと通率の関連性
- 高コスト=高通率ではない:5 つのモデルのうち 4 つにおいて、「パスあたりの最も高価な Harness」は「最も安価なHarness」よりもパス頻度が低かったり、相関が負(−0.39)だったりと、単純な逆比例関係にはないことが判明しました。
- 最も高い通率を持つ Harness:コスト順位では 22 中 5 位〜20 位のHarnessでした。
コストの主な出所は「失敗した実行」
- パスしなかった実行への投資:スコアリングされた実行のうち、64.5% のリストプライスコストは「パスしなかったトライアル」に費やされました。
- 内訳:失敗(52.7%)、タイムアウト(11.8%)。
- 自信のある失敗:失敗した実行の 68%〜82% は、時間切れではなく、「自信を持って最終回答を出力した」ことで終了しました(例:コード検証でエラーを検出しても「完了」と宣言してしまうケース)。
5. コストを決定する要因とは?
「ステップ数」が決定的
プロンプトサイズ、ツール数、キャッシュヒット率は主要なコスト要因ではありません。一方、ステップ数(steps) が決定的です。
-
各ステップのコスト構造:1 ステップとはエージェント軌跡の 1 つのエントリです。ステップごとにコンテキスト全体を再送するためです。
- トライアルあたりの平均入力トークン:200 万〜480 万。
- 最初のリクエストサイズ(最大 21,365 トークン):全体の 1% も満たないため、初期コストの影響は微々たるものです。
-
統計的有意性:
- 「パスあたりのステップ数」と「パスあたりのコスト」間のランク相関:+0.51(p = 0.015)
- プロンプトサイズ、ツール数、キャッシュヒット率との相関:−0.03〜+0.02(p ≥ 0.88)→ 有意性なし
キャッシュの役割
- 入力側でキャッシュからの読み込みが全体の 42% を占めています。
- ただし、DeepSeek ではキャッシュ済み入力が他の入力に対して 2%、GLM Flash では 20% のコストしかかからないため、キャッシュによる節約効果も限定的です。
共通の設計選択(成功・失敗ともに)
- 単一シェルツールの支配:Harness ごとにツール呼び出しの 61%〜93% は単一のシェルツール(bash など)によって処理されました。
- コンテキストの更新方式:リクエストは前回のコンテキストに追加するのみです。キャッシュ済み入力比率は 91.1%〜94.0% と高いですが、各ステップで新規に約 500 トークンを追加し続けるため累積コストが高騰します。
# 例:Pi, GLM-5.3 request prompt tokens cached tokens 8 15,954 15,616 9 16,351 15,936 10 16,999 16,320 - サブエージェントの非効率性:最多でも 6 トライアルまでサブエージェントを使用しましたが、補助効果は確認できませんでした。
- ウィンドウサマリー:Codex CLI はウィンドウの 90% をサマリーしますが、コスト削減には直接寄与しませんでした。
6. まとめと提言
結論:モデル変更時は Harness も見直しを
- モデルがコストを決める:モデル間の差はコストの 92.8% を占めます。Harness は二次的な要因ですが、最適値を追求するなら組み合わせを見直す必要があります。
- コスト比率への注意:モデル固定下では、最も高価な Harness は最低コスト Harness の 1.9〜4.9 倍(タスク単位では 1.8〜5.0 倍)のコストになります。
ハンドルケース開発者への提言
- 「ステップ数」を削減してください:プロンプトサイズやキャッシュヒット率よりも、ステップ数を減らすことがコスト削減の鍵です。
- 通率の差に過信しない:各通率の 95% 信頼区間は約 ±10 ポイントであり、数ポイントの差は統計的有意差とは言えない場合があります(実質引き分け)。
- ミニマムサイズの限界:最小サイズである mini-SWE-agent はコスト単価では低かったものの、通率は 22 中 19 位でした。サイズだけではコストを予測できません。
今後の課題
- クローズドモデルの追加:Claude Opus 5.5、GPT-6 Astra、Gemini 4 Carbon など。
- 長期タスクへの対応:クラウド上で連続動作する Harness の自己改善メカニズムの研究。
注意点:今回の評価はオープンモデルと Baseten のキャッシュ設定に基づいています。クローズドモデルや異なるプロバイダーではコストランキングが変わる可能性があります。