
2026/09/11 1:52
Cognition の SWE-2 が Terminal-Bench 2.1 で 92.8 を達成
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Cognition は、Agentic コーディングタスクに特化して設計された 2.8 兆パラメータの Mixture of Experts (MoE) モデルを発表しました。このモデルは、Kimi K3 base に Cognition の後トレーニングを組み合わせたものです。このリリースは同社の強化学習 (RL) スケーリングにおける初の主要な取り組みであり、プロプライエタリな重みは 2026 年 9 月にリリース予定となっています。モデルは NVFP4 および FP8 コアを使用し、提供スタックによって受容長を 15% 拡張すると同時に、プリフィルされたデレイヤーがスループットを向上させますが、Time to First Token (TTFT) に悪影響を及ぼします。
パフォーマンステストでは、モデルは自己報告による FrontierCode Main スコア 50.0 および DeepSWE 1.1 スコア 73.0 を達成しました。FrontierCode で Claude Fable 5.1 より 0.9 ポイント下がり、GPT-6 Astra より 3.3 ポイント低いものの、特に長期的なホライズンの Terminal-Bench 4.0 タスクで顕著に性能が劣りますが、大幅な効率性の向上を提供しています。モデルは SWE-1.7 ではステップ 48 に対してステップ 18 で最初の修正を行い、Medium エフォートのタスクを 81% のコスト削減で完了し、主要なコーディングテストにおいて Claude Fable 5.1 と同様の性能を維持しました。
9 月から、モデルは Devin Desktop、CLI、およびウェブプラットフォームをベースにタスクに基づいた課金モデル(トークン単価ではなく)を使用してリリースされます。ユーザーには、プロプライエタリなライセンス制限によりローカルインストールが利用できないこと、またクォンタイゼーションラダーも公開されていないことに注意してください。
本文
Kimi K3 ベースの超大規模 RL モデル「SWE-2」:ベンチマークと運用特性
概要とアーキテクチャ
- モデルベース: Cognition の後学習済み 「Kimi K3 ベース」。
- アーキテクチャ:
- 全体パラメータ:2.8 兆。
- アクティブパラメータ(MoE): トークンごとの 1040 億。
- Cognition が初回に超大規模領域(数千億〜兆パラメータ級)へ強化学習(RL)を拡張したモデル。
- ベース調整: エージェント型コーディング向けに RL を重視して調整済み。後学習により主要ベンチマークで +5〜6 ポイント のスコア向上を実現。
推論スタックと最適化技術
- MoE インフェレンス: NVFP4 および FP8 カーネルを採用。
- クオンタ化認識トレーニング: FP8 を MLA(Multi-Head Latent Attention)内の K、Q、V 計算およびスコア計算に適用。
- SpecForge によるドラフトモデル再トレーニング:
- 受け入れ可能な長さ:15% 延長。
- GPU あたり TPM およびリクエスト単位生成速度:10〜20% 向上(TTFT は若干劣化)。
- プリフィル用遅延層の導入による効率化。
運用効率とコストパフォーマンス
- 実行ステップ数(平均):
- 「中級」:53 ステップ
- 「高級」:80 ステップ
- 「最大級」:98 ステップ
- (対比: SWE-1.7 は 127 ステップ)
- SWE-1.7 との比較(「中級」レベル):
- FrontierCode スコアはより高スコア。
- ターン数:58% 減少。
- 平均コスト:81% 低減。
- コードエディット生成:
- 最初の実行可能エディットの中央値ステップ:18(SWE-1.7 は 48 ステップ)。
- 大幅な効率化と早期完了を実現。
ベンチマークスコア(Cognition 自己報告)
| 評価指標 | スコア |
|---|---|
| FrontierCode 1.1 Main | 50.0 |
| DeepSWE 1.1 | 73.0 |
| Terminal-Bench 2.1 | 92.8 (公開表中最高値) |
| Terminal-Bench 4.0 | 27.3 |
スコア分析と競合比較
- FrontierCode 1.1 Main (50.0):
- Claude Fable 5.1 (50.9) に僅か 1 ポイント差。
- GPT-6 Astra (53.3) から 3.3 ポイント離れるが、コストは Fable の64% 低く、Astra の1/4に抑えられている。
- Terminal-Bench 2.1: 公開表中で最高値を記録。
- Terminal-Bench 4.0 (弱点):
- スコア:27.3。
- Fable 5.1 (55.8) および GPT-6 Astra (57.9) と比べて大きく後れを取っている。
- 長期的視野を持つエージェントタスクにおいて、Frontier モデルとのギャップが依然として残っていることを示唆。
モデル基本情報
- パラメータ数: 2,800.0 兆
- ライセンス: プロプライアトリー(非公開)
- 開発元: Cognition
- 出所国: 🇺🇸 アメリカ合衆国
- 公開日: 2026 年 9 月
価格・利用方法
- ローカル実行:
- 無料プランに登録し、測定されたトークン生成速度(tok/s)を共有可能。
- 自身のマシン環境確認と速度測定が可能。
- クラウド API:
- 現時点でトークン単位のパータイシング価格情報は提供されません。
- フラッグシップモデルのリストプライスについては別途計算ツールの利用が必要。
- 価格履歴: 推論コストの変遷は OpenRouter のスナップショット情報に基づくため、歴史的な API コストシリーズとは異なります。