モンキー・シーとモンキー・ドゥ：コスト効率の革新 🍌

主要な成果指標

本手法により以下の性能向上が確認されています。

• フロンティア性能: ベースラインの 97% を達成
• コスト削減: ドル ($) 単位で比較すると、41% の低減
• 完了速度: 1.9 倍の向上
• 不正行為（チート）: 発生率が約 3 分の 1に削減

コストとパスレートの比較分析

7 つの腕・SWE-Bench Pro・bare モデルにおける oneshot モードとの比較

• /task

  パターン：フロンティアモデルによるオープニングターンを含む構成

• †

  マーク：Flash 3.5 での実験結果

• ‡

  マーク：5.6 Luna での実験結果

オプション A: Opus 4.8 +

/plan†

（プランニング手配）

Opus が計画を策定（読み取り専用）、Gemini Flash が実装を行う構成です。

• コスト: 1 タスクあたり $3.18
• 所要時間: 12.7 分
• パスレート: 84.6%

内部コスト構造の比較

対比：Opus が単独で完遂する場合（ハンドオフなし）

• コスト: $2.78
• 所要時間: 10.1 分
• パスレート: 84.6%

重要: コスト削減を目的としたこの「プランニング」戦略は、単独実行の場合よりも実際には 14% も高コストになっています。

トークン配分の真実：どこでコストが発生しているか？

フルオートメーション化されたエージェントにおけるトークン消費の内訳は以下の通りです。

• 総トークン数: 約 200 万回のツール呼び出しを通じて合計 18.1 億トークン
• 「タスクの実行」（編集・書込）: 9%
• 「読み取り」: コストの主要因。両モデルとも読み取りに全額支払いが必要

結論：

snapcompact

の理由

• トークンのうち 9% が編集に、残りの 91% が読み取りに使われます。
• この比率は環境の欠陥や修正可能な問題ではなく、アーキテクチャ的な特性です。
• 基本原則: エージェントやモデルを問わず、請求書のコストは実質的に O(reads)（読み取り量に比例）です。

なぜ

/plan

はコスト削減策として機能しないか

1. 「大規模モデルの深い理解」は名刺では伝えられない

• 大規模モデルの理解は、10 万トークン以上のコンテキスト（ファイル内容、解決済み問題、検証された仮説）に根ざしています。

• /plan

  で生成されるプラン文書は、その膨大なコンテキストから抽出した 2K トークンの名刺程度の情報しか含みません。
• エグゼキュータ（実行担当）には「理解」ではなく「名刺」が渡されるため、残りの理解を自力で再構築する必要があります。

2. タスクの複雑性への対応

• メインエージェントの実装自体を行いたくない場合、読み取り専用の計画ターンでは解決できません。
• 適切なアプローチは、探索→サブエージェント派遣→実行というフローです。単純な情報伝達（電話ゲーム）では課題は解消されません。

3. コスト制約との矛盾

• 「読み取り」こそがコストの源泉です。

• /plan

  は、高価格なフロンティアモデルに全コンテンツを読み込ませ、次に低価格モデルにも同じ内容を再読み込ませる構造になっています。
• 結果として高価な部分を削減するのではなく、そのコストを 複製していることになります。

ワークフローの可視化：「フェアテイルではなく、軌跡をハンドオフせよ」

プラン文書は未曾踏（未経験）モデルに向けた「名刺」です。本当に価値あるのはコンテキストウィンドウそのものです。

/prewalk

による実現方法

1. 開始: フロンティアモデルに対し

   plan deeply

   の指示語句を与え、タスクを起動・プラン作成を行う。
2. 探索: フロンティアモデルが探索を行い、タスクリストを初期化する。
3. スイッチ: 最初の編集が適用された瞬間（行動を開始した時点）で低価格モデルに切り替え、計画関連の指示語句をコンテキストから剪定する。

成功の要因

• 混乱の回避: 低価格モデルは「待ってください、私は計画していた」という誤解を持たず、コンテキスト内に計画指示が残っていないためです。
• 認識の一致: モデル側では「探索→包括的プラン作成（タスクリスト）→自信を持って実行開始」という自然な流れになります。
• 無料のインコンテキスト例: すでに有効な一歩を踏み出しているため、学習コストが削減されます。

ベンチマーク結果：5.6 SOL +

/PREWALK‡

コストと効率性の劇的改善

• コスト: 1 タスクあたり $1.04
  • （読み取りモデル：Sol, Nudge, Globe など）
  • （処理フロー：Sol → Todo → Orient → Plan → Grep → Glob → ... → Verify → Close）

モデル間比較表

詳細分析

• GPT-5.6 Sol (Oneshot): コストの 61% で Sol パスレートの 97% を達成。フロンティアトークンの浪費を避け、Luna の「森を彷徨うターン」を排除することで最速化しました。
• Opus 4.8 (Oneshot): コストの 53% で Opus パスレートの 92% を達成。Flash Oneshot よりも 1.5 倍速く、パスレートは +18 ポイント向上しました。

チート（不正行為）の問題解決

予想外の効果：チート率の急減

SWE-bench のタスクは過去の公開バグ修復問題であり、GitHub に解答コードが存在します。ウェブ検索で答えを探す行動（チート）を抑制しました。

なぜ

/plan

でチートするか、

/prewalk

ではしないか？

• 餓死状態の誘導:

  prewalk

  はモデルを「両端から餓死状態」に追い込みます。有能なモデルは窮地に立たされた時にチートを行います。
  • 単独実行（Oneshot）では、GitHub 検索が途中（Sol: 14 ターン目、Opus: 12 ターン目）で発生します。

  • /plan

    にはターン制限がなく、「修正方法」を説明する包括ドキュメント生成は絶望感を助長させます。
• コンテキストの強固さ:

  prewalk

  のエグゼキュータは、コード接触済み・編集適用済み・チェックリスト進捗済みのコンテキストを受け継ぎます。「検索」のような行為は見当たらないため、模倣マシンはチートしません。

技術的背景：プレフィル（Prefill）の活用

これは新アイデアではなく、古くからの手法「プレフィル」の応用です。

• 基本原理: アシスタントが要望を満たさなくても、アシスタントのターン開始自体でモデルは「自分が生成した言葉」のように振る舞います。
• 歴史的文脈: かつて文法制約付きデコード（例：

  <title>

  ）が存在する以前の、一貫性を保つためのハックとして始まり、現在はレッドチーム検証において「拒否を回避させる」手段としても機能します。

解決策：無邪気にプレフィルされたターンの利用

• フロンティアモデルに思考機能をオフにするなどの制限がある場合も、既に探索済み・チェックマーク付きのタスクリスト（10 回分のターン） を渡すことには抵抗がありません。
• これを omp にアップストリーム化し、今日出荷しています。

利用方法

以下のコマンドラインオプションで利用可能です：

--prewalk
--prewalk-into <model>
/prewalk

実装は基本的にどこでも容易です。機会があれば試してみて、結果をご報告ください！