
2026/09/13 5:25
Real-SWE:AI モデルを実際の企業コードベースでの運用におけるベンチマーク評価
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
2026年9月、新しい Real-SWE ベンチマークが、実際の企業からライセンスされた私有のリアルワールドエンタープライズコードベースにおいて、最先端 AI モデルに挑戦する。これに対し、以前の公衆インターネットデータを用いた評価では約 99% のトークンが隠されていたが、このベンチマークでは課題は孤立したサンドボックスから直接verbatim またはインスピレーションを得られた形で抽出されており、ここでは機密生産コードとビジネス結果への影響シナリオ(例:請求書、税金、移行)が含まれる。評価はモデル単体ではなく、モデルおよびハーネスの組み合わせを測定しており、エンタープライズエンジニアの実際の作業方法を反映している。解決率は、各課題につき 8 回の独立したランにわたる pass@1 の平均値として量化され、95% 信頼区間が示される。
タスクは平均して短く、中位値では約 1,742 文字であり、Terminal-Bench よりもはるかに短いが、DeepSWE や FrontierCode よりも長い。各参考ソリューションは通常、中位値で約 11 ファイルを編集する。性能には大きなばらつきがある:上位の解決率には Fable 5.1(38.8%)、GPT-6 AstraCodex CLI(33.8%)、Gemini 3.8 FlashGemini CLI(31.2%)、GLM 5.3Claude Code(28.8%)、Gro k 4.6Grok Build/Muse Spark 1.3Muse Code(23.8%)が含まれる。モデルは短いロールアウトでも苦戦する:約 71% のロールアウト(10 分未満)が失敗したのに対し、より長いロールアウトでは約 73% が失敗しており、最も一般的な失敗モードは要件の欠落であり、どのモデルもすべての課題を解決することはできない。
展開コストもモデルによって大きく異なる:選択するモデルによっては約 2.50 ドルから 6.96 ドル程度で変動し(Gemini 3.8 Flash は下限、Fable 5.1 は上限)、一部のモデルでは報告されていない高いコストが発生する可能性もある。この変化により、エンタープライズエンジニアは、標準的な公衆データベンチマークではほとんど準備がなされない制限された環境において、複雑な固有のパターンとビジネスリスクをナビゲートすることになる。
本文
2026 年 9 月発表:Real-SWE ベンチマーク(現実世界のエンタープライズコード評価)
私的かつ現実世界の企業コードベースを対象として、frontier AI モデルのベンチマーク評価が実施されました。本記事はReal-SWE(Reality Software Engineering)の結果と分析をまとめたものです。
📌 概要:Real-SWE とは
- 目的: リアルな企業環境における AI エージェントの実力を検証するベンチマークの発表。
- データソース: 既存の製品に伴う文脈と複雑さを備えた、実際に存在する企業のライセンス契約により入手したコードベース。
- 主な特徴:
- 公開性がない: 公開インターネット上には存在しない固有のシステムをナビゲートする必要があります。
- 事業への影響: 請求計算、税金算出、顧客移行など、ビジネス運営そのものに直結する課題です。
- 企業固有の複雑性: 独自ルールやコーディング慣習に従い、既存コードとの整合性を保ちつつ変更を行う必要があります。
核心となる問い: コーディングエージェントは、現実世界におけるソフトウェアエンジニアの役割を実際に果たせるのでしょうか?
🏆 リードボード:解決率とコスト効率
1. 解決率(Pass@1)
「解決率」は各タスクについて8 回の独立した実行を平均化した値であり、信頼区間(95%)に基づいています。
| ランク | モデル | ツール/CLI | 解決率 |
|---|---|---|---|
| 1 | Fable 5.1 | Claude Code | 38.8% |
| 2 | GPT-6 Astra | Codex CLI | 33.8% |
| 3 | Gemini 3.8 Flash | Gemini CLI | 31.2% |
| 4 | GLM 5.3 | Claude Code | 28.8% |
| =5 | Grok 4.6 | Grok Build | 23.8% |
| =5 | Muse Spark 1.3 | Muse Code | 23.8% |
| 7 | Kimi K3 | Kimi Code | 18.8% |
| 8 | GPT-5.6 Sol | Codex CLI | 16.2% |
2. コスト効率と推定支出
「高いコストが高い解決率を保証するわけではありません。」という結果となりました。
解決率対コスト分析
- Gemini 3.8 Flash: 解決率 31.2% / コスト $2.50 (最もコスパ良好)
- Fable 5.1: 解決率 38.8% / コスト $6.96 (最高性能だが高コスト)
推定実行コストによるモデルランク付け
| ランク | モデル | 推定コスト(1 回当たり) | ツール/CLI |
|---|---|---|---|
| 1 | Gemini 3.8 Flash | $2.50 | Gemini CLI |
| 2 | GPT-5.6 Sol | $2.65 | Codex CLI |
| 3 | Muse Spark 1.3 | $2.74 | Muse Code |
| 4 | Grok 4.6 | $3.44 | Grok Build |
| 5 | Kimi K3 | $3.90 | Kimi Code |
| 6 | GPT-6 Astra | $4.67 | Codex CLI |
| 7 | GLM 5.3 | $5.12 | Claude Code |
| 8 | Fable 5.1 | $6.96 | Claude Code |
注意点: Grok や Kimi は使用状況が不完全なため、実際のコストはさらに高い可能性があります。
3. タスク環境とツール概要
エージェントはコード、インフラ、ビジネスツールのすべてを横断して動作します。
- インフラストラクチャ: AWS エミュレータ、Docker、Kubernetes, PostgreSQL, MySQL, MongoDB, Redis など。
- 開発環境: GitHub Linear MCP、Go, Python, Node.js, Vitest など。
- ビジネスツール: Slack, Intercom, Google Drive, メール, ClickUp など。
プロンプト長比較(中央値)
Real-SWE は他のベンチマークに比べ比較的簡潔なプロンプトで構成されています。
| ベンチマーク | プロンプト長(文字数) | ファイル編集数(中央値) |
|---|---|---|
| Real-SWE | 1,742 | 11 ファイル |
| FrontierCode | 2,056 | 6 ファイル |
| DeepSWE | 1,975 | 6 ファイル |
| Terminal-Bench | 31,584 | - |
| FrontierSWE v2 | 992 | - |
🧐 02 詳細分析:失敗原因と課題
短時間実行での高い失敗率
- 10 分未満 の実行: 失敗率 71.4%(成功 28.6%)
- 10 分以上 の実行: 失敗率 73.4%(成功 26.6%)
| 期間 | 失敗数 | 失敗率 | 成功数 | 成功率 | 総実行回数 |
|---|---|---|---|---|---|
| 10 分未満 | 70 | 71.4% | 28 | 28.6% | 98 |
| 10 分以上 | 398 | 73.4% | 144 | 26.6% | 542 |
分析: 複雑なビジネスロジックや既存のコーディングパターンに満ちたコードにおいて、要件を理解しシステムを診断(triage)するのは極めて困難です。
未対応の要件が最大の敗因
DeepSWE を模倣して失敗原因を分類しました。
- 主要な失敗カテゴリ: 「検証されていない仮定」「見逃した要件」「統合エラー」「回帰(Regression)」「誤ったファイル」など。
10 のタスクのうち 6 が解決不能
- 統計: サンプルセットの10 タスクのうち 6 つが解決率が 15% 未満です。
- 結論: すべてのモデルがすべてのタスクを解決できていません(各タスク 8 回試行)。
重要な特性:分布外(Out of Distribution)
このベンチマークは以下の理由で極めて重要です。
- トレーニングデータからの分離:
- 私的コードベース上のタスクはインターネット上のどこにも存在しません。
- 他の AI モデルによって訓練されたこともほとんどありません。(現実世界のエンタープライズで使用されるトークンの**99%**が frontier モデルから隔離されています)。
- 経済的実用性:
- 給与をもらうエンジニアに割り当てられた、実際の支出と直接関連する作業です。
- 企業固有のパターン適合:
- AI が生成するコードが、現実のエンタープライズの基準(コーディング標準やパターン)を満たしていますか?
- 多くのモデルは企業のコーディングパターンの理解に弱く、要件を見逃したり仮定を検証しなかったりしています。
⚙️ 03 エフォートとコストの関連性
コスト効率性の逆転現象
- 高いコスト = 高い解決率ではないことが証明されました。
- Gemini 3.8 Flash は低コスト($2.50)で中上段の結果を出していますが、最高性能の Fable 5.1($6.96)は約 4 倍のコストをかけても数% の差しか出せていません。
トークン使用量とタスク価値
特定の複雑なタスクでは、モデル間のトークン使用量が大きく異なります。
- 権限超過行 (Entitlement overage lines): Fable 5.1 (34k) vs GPT-6 Astra (13k)
- マルチリージョンスウィープ: Fable 5.1 (30k) vs GPT-6 Astra (13k)
- 税務管轄区域: Fable 5.1 (78k) vs GPT-6 Astra (24k)
モデルごとの全体的なトークン使用量(例)
- Gemini 3.8 Flash: 94k
- GLM 5.3: 117k
- Fable 5.1: 64k
- GPT-6 Astra: 24k
- Muse Spark 1.3: 87k
🛡️ 04 評価設定とデータソースの詳細
コードベース選定基準
厳格なスクリーニングプロセスを通じて選定された「実際の企業」に置かれました。
- App Store トップ 100: Luma/Partiful の競合製品であり、20 万人以上のユーザーを抱える企業。
- フィンテック: 銀行振込書 10 万件以上を処理するプラットフォーム。
- エンタープライズ AI: 複雑なビジネスワークフローをサポートするサイレスプラットフォーム。
優先事項: ベンチマークタスク作成用のコードよりも、実際のユーザーまたはビジネスニーズに応えるために書かれたコードを優先しています。生産エンジニアリングには既存のアーキテクチャ理解や、ユーザー依存の振る舞いの保全が求められます。
評価環境
- 実行環境: 各エージェントは孤立したサンドボックス(isolated sandbox) で動作しました。
- フォーマット: すべてのタスクはHarbor フォーマットです。
- 検証器 (Verifiers):
- 格付け時に注入されます。
- コードベースに存在する既存のテストスイートに基づくもの、またはそのテストをそのまま使用したものです。