メムドア・ワークフロー分析：プログラミング問題向けマルチエージェント・ハネス

概要

• 実装形態: 「メムドア（Memdoor）ワークフロー」として実装された、プログラミング問題解決のためのマルチエージェント・システム。
• 構成要素: 5 つの役割（プランナー、2 つのアイデアーター、ソルバー、マネージャー）およびリペアワーカーで構成されています。
• 通信方式:
  • 各コンポーネントは新鮮なコンテキストからスタートします。
  • モデル間の通信はディスク上のファイルを通じてのみ行われます。
  • シェルスクリプトがサンプルを実行し、その成否を判定します（モデルへの依存に留まらず）。
• 性能実績:
  • GVS5H（Lee, 2026）手法に対応しており、5 つの

    Qwen3.8-27B

    モデルを使用。

  • LiveCodeBench Hard

    で「Fable 5」を凌駕しました。
  • 再現性テスト: 著者のプロンプトと

    Qwen3.8-27B

    を用いた再構築ループにおいて、

    LiveCodeBench Hard

    の最初の 10 問に対し、パス 5 平均でスコア 9.8/10を達成。
    • 著者の元々ハネス（9.6）および Fable 5 単独（8.0）と比較して優れた結果です。

パフォーマンス比較表

*注：「著者」の列はリポジトリ内の再評価結果ファイル（

q38_multiagent_pN

fable5_single_pN

実験設定と結果

構成

• モデル:

  Qwen3.8-27B

  （出力トークン数上限 128K）。
• 環境: 著者によるプロンプトおよびループロジック。
• データセット:

  LiveCodeBench Hard

  リストの最初の 10 問。
• 採点: 公開テストケースと非公開テストケースのすべてに対して、修正されたグラードーを用いて評価。

コストと効率性

• 総実行数: 50 ラン（10 問 × 各 5 パス）。
  • ※著者の 100 ランではありません。
• 期間: コンテストは 2025 年 3 月 29 日から 4 月 6 日まで実施。
  • モデルが訓練中にデータを学習した可能性があり、汚染を完全に排除することはできません。
• コスト内訳:
  • スタンダードな実行（出力トークン数 1,530 万）：$35.79。
  • クロックにより中断された 16 回の試行を含む全費用：合計 $38.77。
  • ランタイム: 中央値 40 分；最長 4 時間。
  • ラン平均単価：$0.39。
• インフラ:

  OpenRouter

  （ローカルマシンではありません）。

  Modal

  はその精度を公開していません。
• プロバイダー負荷:
  • 発注した FP8 ホスト（Modal、CoreWeave、Parasail、Wafer）における呼び出し配分は以下の通りです：
    • Modal: 203 回
    • Wafer: 115 回
    • CoreWeave: 27 回
  • 実行中の中間ステップのすべてが保存されました（

    log/host-switch.txt

    を参照）。

再現性

• データ整合性:
  • ランスクリプト内のローカルパスでは

    <scratch>

    および

    $HOME

    に読み取りアクセスがあるのみで、他の変更はありませんでした。
• バイト単位の比較:
  • 設定は著者側と完全に同一です。

  • lib/test_parity.py

    はスクリプト化されたモデルに対して著者の

    multiagent_solve

    を実行し、4 つのケースについてリクエストを比較します。
  • パラメータ：温度（プランニング 0.3、アイディア生成 0.4、マネージャー/ワーカー 0.2）、top_p 0.95、top_k 20、最大 10 ラウンド。
• スコアリングロジック: ループは公開サンプルのみを見ており、スコアは非公開テストから派生します。
• Fable 5 比較: Fable 5 の列は著者のファイルからの各問題に対する単一呼び出しを表し、このハネス内で実行されませんでした。

エラー分析：失点箇所

パス 4 およびパス 5 において、著者のループにおける 2 つの特定の問題が特定されました：

1. パス 5,

   abc399_e

   （非公開テストケース中 32/44）
   • ラウンド 1 で正しいプログラムが生成されました。
   • しかしマネージャーは期待値の誤った反例を発明しました。
   • チームはコードを書き換えてサンプル通过了しましたが、特定のケースを網羅するに至りませんでした。
2. パス 4,

   arc196_c

   および

   arc196_d

   • 非公開テストケースをすべて通過したプログラムが、マネージャーが「完了」と言わなかったため、後のラウンドによって上書きされました。
   • 正しいプログラムはループ終了前に回復できました（

     arc196_d

     でラウンド 8、

     arc196_c

     で最終呼び出し）。
   • コスト：$3.44（

     arc196_d

     ）および $4.24（

     arc196_c

     ）が発生し、これら 2 ランは最も高価な実行でした。

修正可能性

両方の問題はコア手法を変更せずにも解決可能です：

• マネージャーの反例を小規模入力に対するブルートフォース検証と比較する。
• サンプルを通過した最後のプログラムを維持する。

注: 上記の数値にはこれら 2 つの問題は含まれていません。

インストールと使用方法

ワークフローを実行するには以下の手順に従います：

# インストール
curl -fsSL https://memdoor.ai/install.sh | bash

# モデル接続（オプション: anthropic, openai, gemini, chatgpt など）
memdoor connect openrouter

# ソース取得
git clone --depth 1 https://github.com/guregodevo/memdoor

# ワークフローディレクトリ準備
mkdir -p ~/.memdoor/workflows
cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/   # ライブラリ：どのプロジェクトでも使用可能

# タスク定義とテストセット作成
mkdir my-problem && cd my-problem
cp -r ../memdoor/examples/workflows/team-solve/sample/* .          # task.md + tests/1.in … 5.out

# ワークフロー実行（完了待機）
memdoor workflow run team-solve --wait   # ステータスは stderr に、すべてのサンプルが通過すると exit 0

ワークフローの動作原理

• メムドア TUI 内の

  /workflow

  は同じ実行をライブで描画します。
• カスタム問題の場合、

  task.md

  を置き換え、隣接にペアされたテストファイル（

  tests/N.in

  ,

  tests/N.out

  ）を配置します。
• 解決スクリプトは

  solution.py

  で、stdin から読み取り、

  diff

  と比較されます。

要件

• Python 3 および bash。
• ファイファイルを 1 つのリポジトリ内に保持するには、フォルダを

  .memdoor/workflows/

  にコピーします。
• プロジェクト内のコピーが優先されます。
• モデルは

  /model

  をピン留めされたものに基づいて応答します（例：Janis、Ollama、または llama-server 用の

  memdoor connect local

  ）。

アーキテクチャ図

graph TD
    Plan -->|Plan| Ideate_A
    Plan -->|Plan| Ideate_B
    
    Ideate_A -->|Proposal A| Solve
    Ideate_B -->|Proposal B| Solve
    
    Solve -->|Decision| Test
    Test -->|Result| Review
    Review -->|Feedback| Repair
    Repair -->|Fix or Done| Verify

ステップ定義（DAG）

task.md

plan.md

notes.md

task.md

plan.md

notes.md

notes.md

solution.py

tests/

test-output.log

test-status.txt

review.md

notes.md

solution.py

tests/

final-test-output.log

実装メモ

• 各ステップは

  steps/

  内の YAML ファイル 1 つに相当します。
• 基盤エンジンには mario が使用され、DAG は

  requires:

  で定義されます。
• 役割の変更はプロンプトの変更を意味します。

サンプルにおける発見

タスク：文字列中の等しい回数を有する部分文字列を数える

• 要件:

  {a, b, c}

  の文字列中の、各文字が等しい回数を有する部分文字列を数える（文字数は最大 200,000）。
• 環境: OpenRouter を介したデフォルト・ラダー。
• 結果: 8/8 ステップ完了、5/5 サンプル通過。
• 手法:
  • ソルバーはアイディアーター A の「プレフィックス状態法」を使用（辞書による

    (a-b, a-c)

    ペアでの $O(N)$）。
  • 300 つのランダム文字列に対するブルートフォースでは不一致は見つからず、$N=200,000$ での実行時間は 0.04s。
  • マネージャー：修復すべき点は何も見つからなかった。

インシデント報告

• 1 つのプロバイダーが回答中にストリーミングを切断しました。
• コーディング担当者は

  max_retries: 0

  を設定しており、これがランの失敗原因となりました。
• エージェントステップは現在

  max_retries: 1

  を持ち、

  --partition

  で再開可能（プランナーおよび他のアイディアーターの作業を保持）。

プロンプトの進化

当初、プロンプトはサンプル手法に名前をつけていました（例：

A: streaming prefix-state count

B: sorting prefix states

• A: 最も直接的な証明可能なアルゴリズム
• B: 異なる技術家族から選んだ 1 つ

ゲートウェイの修正

最初の試みでは、エージェント查找がローカル専用だったため、すべてのステップで「agent named coder」というエラーにより 0s で失敗しました。これは同日のゲートウェイで修復されました（v1.692.0）。