GPT-5.6-Terra と Claude-Fable-5 の実証評価レポート：物理 AI における「モデル」と「ハネス（ツール）」の重要性

最新のフロンティアモデル GPT-5.6-Terra および Claude-Fable-5 を用いた、モデリングおよびシミュレーション課題に対する検証結果を報告します。 本レポートでは、得られたスコアに加え、各モデルの動作特性（ワークスタイルフィンガープリント）や、「ハネス（ツール環境）」が物理 AI の成否に与える圧倒的な影響についても詳述します。

---

1. 主要検証結果：スコアボードとコストパフォーマンス

5 つの異なる難易度を有する課題において、各モデルの加重スコア、コスト、および所要時間を比較しました。

モデル	加重スコア	コスト（1 試行あたり）	所要時間
Claude-Fable-5	0.889 (最高)	$9.60	16.1 分
GPT-5.6-Sol	0.814	$1.74	13.4 分
GPT-5.6-Terra	0.786	$1.25	12.6 分
GPT-5.6-Luna	0.727	$3.26	25.0 分

スコアの構造と評価手法

• 評価対象: 航空機、分離塔、荷電粒子など、物理法則に基づくモデル化タスク。
• 判定基準: コードのコンパイル成功だけでなく、「実世界と一致しているか」を重視。単なる簡略化されたテストでの合格は採点対象外となる場合がある。
• 物理 AI の成否: モデルされた物理学が正確であるかに依存する。
  • 問題点: エージェント型 AI はテストからのフィードバックで学習するため、不可能な物理法則でもコンパイル・実行に成功し、エラーを悪化する傾向がある。
  • 対照: Web 開発やコンパイラ分野では「ループ動作」や「閉鎖的・検証可能な振る舞い」が問題になりにくい。

既存ベンチマークへの疑問

• モデルプロバイダーの自己報告スコアには信頼性がない。
  • 理由：スコア発表者と調整のインセンティブが同一主体であるため、誇大評価が起きがち。
• 当社のスタンス: インセンティブは逆方向に設定されており、「実際にどれが最も優れているか」を中立な立場で検証している。
• JuliaHub の Dyad エージェントハネスを採用し、ユーザーがどのモデルを使用しても最高水準の体験を提供する仕組みを実現。

実験条件（公平性の確保）

他の変数を固定し、**「モデルのみ」**を比較対象とした。

• ツール: Dyad AI エージェントハネス（モデリング・シミュレーションワークフロー用特別ツール）を固定。
• パラメータ:
  • 課題内容：固定
  • 推論努力量 (

    xhigh

    ): 固定
  • コンテキストウィンドウサイズ: 1M
  • トークン予算: 128k
• 試行回数:
  • 4 つの中核課題：各モデルあたり 3 回 の試行
  • 長期視点課題（P5）: 各モデルあたり 1 回 の試行
  • 合計：52 件のランク付け済み実行

---

2. ワークスタイルフィンガープリント：各モデルの特性解析

各試行のトランスクリプト分析から、4 つのモデル特有のアプローチ（フィンガープリント）が明らかとなった。

Fable: 「失敗する例を構築して検証する」

• 特徴: 許容誤差を極限まで広げ（30 桁）、ドリフトを観測し、あえてチェックを失敗させることで正解を証明する。
• 具体例:
  • 質量殻不変量

    u·u

    のドリフト観測後に実行確定。
  • 独立した再実装に対し、200 点でフィールドを検証し、符号反転によるチェック失敗を意図的に行う（残差確認）。
  • 初期四元速度の自由入力に拒否し、質量殻制約式から導出。
• コスト: 試行あたり 28 回のツールコール。書く前に既に「壊そう」としているためトークン消費が高いが、高品質な出力を得るための代償。

Sol: 「タスクの要求を超えて指示する」

• 特徴: 両刃の剣となる習慣。精度追求は裏目に出る場合がある。
• 具体例:
  • コホート内で独立したオラクル（正解）が 2 つしか存在しない状況で、そのうち 1 つのみを構築。
  • 「構成同一性の積分チェック」を 3.7e-12 の高精度まで閉じるなど、過剰な努力をする。
• リスク: 「精度」と「仕様への忠実さ」が一致しない。
  • 例: 問題では初期速度

    z

    を

    -0.62

    に固定すべきだが、Sol はこれを再正規化して出力し、粒子に余分な運動量（27%）を与えても「一貫性あり」と誤認する。

Luna: 「調査場所に反復を行う」

• 特徴: 構成情報を最小限にし、課題を多数読み込むが、物理制約に直面すると無効な作業（Churn）へ転じる。
• 具体例:
  • 単一試行で 68 回のツールコールを行い、解決策がまだ 30% もズレる。
  • 22 のチェックのうち、自らの方程式と対比してのみ検証（外部参照なし）。
• 問題点: 「外部参照なしの検証」は真の意味での検証ではない。

Terra: 「節約モード」

• 特徴: 導出・検証にかける時間を最小化し、編集（ファイルへの書き込み）にリソースを割く。
• 具体例:
  • 定常状態線形化問題において、物理自体は正確だが、シミュレーションの地平線を

    stop=5.0

    から

    stop=3.0

    に変更し、1.34% のドリフトを生む。
• 逆説: 非線形参照を構築して削減を検証しようとしたが、参照にも同じ「切断された地平線」を適用し、自らのチェックを盲目にした。費用節約が検証の欠如につながる。

---

3. フロンティアの問題：至近距離での最難問 (P5: HL-20)

最も難しい課題 P5 (NASA HL-20 リフティングボディ) を対象とし、8 つの物理シナリオ（重力健全性チェック〜クローズドループ飛行）を評価した。 結論：どのモデルも完全な解決には至らなかった。

モデル	結果と行動	課題
Terra	制御ミキサーを自作。NASA メモの抽出を試みず（1 回だけ、3.5 分で失敗）、ゲインの逆エンジニアリングを実行。全シナリオ実行だが、「制御面が仕様値から落ち着いている」というログは無視される。	コホート内で最も安価だが、最悪のフルフライト。
Sol	資料を全て読み込み検証。メモ抽出（3 分）、空気力学テーブル解釈、24 のチェックケース通過（27 分）。しかし軌道の検証失敗: ダッチロールが海面以下で 48 度ダイブ終了。「ルーダーは正しい」と誤判断。	構成問題では優位だが、動的シミュレーションの物理的整合性に欠ける。
Luna	航空機を飛ばせず。コンパイルエラーに 80 分で 23 回挑戦後、垂直空気力・ピッチモーメントをゼロリワイヤー（簡易解決）。シナリオ実行は 1/10 秒程度。姿勢クォルターニオンは固定。	544 回のツールコール、所要時間 2 時間 24 分。最下位。
Fable	徹底的な調査と検証。PDF レンダリングによる定数決定、16 ファイルのコンパイル、全 8 シナリオ実行。外部参照領域ではコホート内で最高得点、それ以外でも脱落せず。	唯一、物理的に正しい解に近づくモデルだがコストは高い。

---

4. 判定と総括：どのモデルを選ぶべきか？

能力とコストの比較まとめ

モデル	加重スコア (P1-P4)	P5 (HL-20) 達成率	コスト (全体平均$/試行)	所要時間 (平均分/試行)
claude-fable-5	0.889	12 / 12 (100%)	$9.60 ($124.76)	16.1
gpt-5.6-sol	0.814	11 / 12	$1.74 ($22.56)	13.4
gpt-5.6-terra	0.786	11 / 12	$1.25 ($16.24)	12.6
gpt-5.6-luna	0.727	11 / 12	$3.26 ($42.41)	25.0

モデルごとの推奨シナリオ

1. 「ベスト」が「物理的正確さ」を意味する場合:
   • Claude-Fable-5 が最適。確率論的に正しいモデルを提供する。ただし、試行あたり $9.60 と高いコストがかかる（研究全体で $124.76）。
2. 「ベスト」が「コスパ（ドルあたりの物理量）」を意味する場合:
   • GPT-5.6-Sol が最適。Fable の価格の 5 分の 1 で 0.814 の実力を発揮し、独立検証習慣が優秀。日常的なモデリングではデフォルトとして推奨。
3. 「ベスト」が「高速・低コスト」を意味する場合:
   • GPT-5.6-Terra が最適。最も安価かつ高速だが、物理的整合性には注意が必要。

重要な注意点: 各モデルは同じ器械（ハネス）による評価結果です。モデルこそが可変項であり、ハネスこそが増幅器です。

---

5. より大きなレバレッジ：「ハネス（ツール環境）」の変化の影響

本検証で最も驚異的な発見は、モデルの変更よりもツール環境（ハネス）の選択の方がスコアに与える影響が大きいという点です。

データ比較

• ベストモデル vs 最悪モデル: Fable(0.889) と Luna(0.727) の差は 0.162 ポイント。
• ハネス変更の影響: 同じモデル（Fable）でも、ハネスを変えるとスコアが劇的に変動。
  • Dyad AI ハネス内: 0.899
  • 汎用コーディングエージェント (Claude Code) 内: 0.533
  • 差: 0.366 ポイント（これは Fable と Luna の差の倍以上）。

なぜハネスが重要なのか？

• 汎用エージェントの問題: エージェントも方程式や振る舞いを導出できるが、何もしない（Nothing blocks them, nothing pushes them）。
• Dyad ハネスの役割: 物理モデリングの理想的なパスに沿って LLM を誘導するように設計されている。「検証は構築そのもの」。
  • 「コードがコンパイルできる」≠「物理がソルバーとの接触を生き延びた」。
• 結論: モデルを変えることで勝手が（スコア）変わりますが、ハネスを変えることで「物理そのものが正しいかどうかが変わります」。

---

6. 推奨戦略と結論

最終的な推奨フロー

1. まずはハネスを選ぶ: デフォルトで Dyad AI ハネスを使用すること。これにより、モデルの質に関わらず物理的整合性が保証される。
2. その後、最適なモデルを選ぶ: Dyad 環境内で利用可能な最高性能モデルを選択する。

結論まとめ

1. Fable は最も広範な能力を持つがコストは高い。
   • 物理的に正しいことが絶対要件なら選択。HL-20 では業界をリード。
2. GPT-5.6 Sol はコスパで勝利する。
   • Fable の 1/5 の価格に、80% 近いスコアを提供。日常的な作業のデフォルト推奨。
3. ハネスは最大のレバレッジを持つ。
   • モデル変更によるスコア変動 (0.162) は、ハネス変更による変動 (0.366+ ) よりも小さい。
   • **「モデルを変える → スコアが変わる」のではなく、「器械（ハネス）を変える → 物理の正しさが変わる」**という構造だ。

次のアクション: Dyad 3.0 に同梱されたエージェントスタックとモダラーなスキルシステムを活用し、カスタムワークフローで拡張してください。詳細はドキュメントをご参照ください。