カーソル社が Composer 2.5 をリリースしました。

Cursor 上で Composar バージョン 2.5 が公開されました。これは Composar バージョン 2 に比べ、知能レベルと振る舞い面で飛躍的な改善を遂げたものです。長期的なタスクに対してより持続的に作業を行えるようになり、複雑な指示もより信頼性高く従うほか、コラボレーションの体験もより心地よく設計されています。

Composar を改良するには、学習スケーリングを強化し、より複雑な RL 環境を生成するとともに、新たな学習手法を導入しました。Composar 2.5 では、さらに困難なタスクで学習を行った上に加え、コミュニケーションスタイルや努力度のカリブレーションといったモデルの振る舞い面も改善しています。これらの側面は既存の評価ベンチマークでは適切に評価されていませんが、我々はこれらが実際の現場での有用性において重要だと考えています。

Composar 2.5 は、Composar 2 が採用している同じオープンソースチェックポイント（Moonshot の Kimi K2.5 ベース）を基盤として構築されています。

SpaceXAI と連携し、合計 10 倍の計算リソースを用いてゼロからより大幅に規模の大きなモデルも同時に学習を進めています。Colossus 2 が持つ百万個の H100 に相当する演算能力と、双方が備えるデータおよび学習技術との組み合わせにより、このプロジェクトはモデルの性能において画期的な飛躍をもたらすものと期待されます。

Composar 2.5 のトレーニング概要

Composar 2.5 では、トレーニングスタック全体にいくつかの新規改善を導入しました。これらの変更は、モデルの知能レベル向上とユーザビリティ向上の両面を対象としています。

• テキストフィードバックを用いたターゲット付き強化学習（Targeted RL）
  強化学習における帰属評価（クレジットアサインメント）は、ロールアウトが数十万語に及ぶなどするにつれ、ますます困難な課題となっています。報酬計算が全体ロールアウトを対象とする場合、特定の意思決定が成果を助けたり損なったりしたかを見極めるのが難しくなります。これは、局所的な行動（不適切なツール呼び出し、混乱を招く説明、スタイル違反など）を抑制したい場合に特に制限的となります。最終的な報酬が何らかの問題が発生したことを示しても、「どこで問題が生じたか」というシグナルとしてはノイズ成分が大きすぎます。

  これに対処するため、我々は Composar 2.5 を「ターゲット付きテキストフィードバック」を用いて学習しました [1]。これは、モデルがよりよく振る舞えるべき局面の直後にフィードバックを提供するという考え方です。例えば、対象となるモデルメッセージに対して、期待される改善点を簡潔に記述したヒントを構築し、それを局所的なコンテキストに挿入して教師分布を得、オリジナルのコンテキストで動作するポリシーを学習者（学生）として扱い、そのトークンの確率分布を教師分布へと寄せるようオンポリシーディスティルレーションの KL 損失を追加します。この手法により、変更したい行動について局所的な学習シグナルを得つつ、全体ロールアウトにわたる広範な RL の目的も維持できます。

  テキストフィードバックのプロセスを例示するためには、ツール呼び出しエラーが含まれた長いロールアウトを考えてください。モデルは利用できないツールを呼び出そうとしますが、「ツールが見つかりません」というエラーを受け取りながら、その後も有効なツール呼び出しを続行します。数百回のツール呼び出しのうち一回のエラーが最終報酬に与える影響は最小限です。

  テキストフィードバックを用いることで、この特定のミスをターゲットし、問題のあったターンにおけるコンテキスト内に「利用可能なツールのリストとともに『メモ：利用可能なツール…』」といったヒントを挿入します。このヒントによって教師分布の確率分布が変化し、誤ったツールの選択確率が低下すると同時に、有効な代替ツールの選択確率が上昇します。そのターンのみにおいて学習者の重みを新しい確率分布へと更新します。

  Composar 2.5 の実行期間中、この手法はコーディングスタイルからモデル間のコミュニケーションに至るまで、多様なモデル行動に適用されました。

• 合成データ（Synthetic Data）
  強化学習によるトレーニング过程中、Composar のコード能力は著しく向上し、最終的には大部分のトレーニング課題を正しく解決するようになります。知能をさらに高めるために、我々は実行過程を通じて動的に選択しつつも同時に、より困難なタスクを生成します。Composar 2.5 は Composar 2 より 25 倍多くの合成タスクを用いて学習されています。

  合成タスクの作成には、実在するコードベースを基盤とする多様なアプローチを採用しています。例えば「機能削除」という手法の一つでは、大規模なテストセットが用意されたコードベースに対し、特定の実装可能な機能を削除しつつもコード全体が動作するように機能を再構築するようエージェントに指示を与えます。合成タスクとはその機能を再実装することであり、テスト結果を検証可能な報酬として活用します。

  大規模な合成タスク生成の副作用として、予期せぬ「報酬ハッキング」を引き起こす可能性があります。モデルがより器用になるにつれ、Composar 2.5 は与えられた課題に対するますます洗練された回避策を見出すようになりました。ある事例では、モデルが残存していた Python の型チェックキャッシュを見つけ出し、その形式をリバースエンジニアリングして削除された関数のシグネチャを復元しました。別の例では、Java バイトコードを発見してコンパイルし直し、サードパーティ製の API を再構築しました。これらの問題についてはエージェント型モニタリングツールを用いて発見・診断できましたが、これらは大規模な強化学習において必要な慎重さの度合いの高さを示しています。

• シャード Muon とデュアルメッシュ HSDP
  継続的な事前学習のために、分散正規化（distributed orthogonalization）を備えた Muon を採用しました。運動量更新を形成した後、モデルの自然な粒度単位——即ち、アテンションプロジェクションごとにアテンションヘッド単位、スタッキングされた MoE 重みごとにエクスパート単位で——ニュートン＝シュルツ法（Newton-Schulz）を実行します。

  ここでの主なコストはエクスパート重みの正規化にあります。シャードされたパラメータに対しては、同じ形状のテンソルをバッチ化し、アレルト（all-to-all）操作によって完全な行列に変換してニュートン＝シュルツ法を実行した後、結果をアレルトで元のシャードレイアウトに戻します。これらの転送は非同歩的に実行され、通信を待機している一方のタスクに対して、最適化ランタイムが他の Muon タスクを先行させ、ネットワークと計算を重畳させることができます。これは全行列形式的なMuon と同等の性能を示しつつもシャードグループを継続的に活用できる点があり、1T モデルにおける最適化ステップ時間では 0.2 秒です。

  これは HSDP を MoE モデルにどのように利用しているかという点と緊密に関連しています。HSDP は複数の FSDP レプリカを形成し、対応するシャード間の勾配を全還元（all-reduce）します。非エクスパート重みとエクスパート重みに対して独立した HSDP レイアウトを採用しています：非エクスパート重みは比較的小さいため、FSDP グループは狭く維持でき、しばしばノードやラック内に収まります。一方、エクスパート重みにはパラメータの大部分と Muon 計算の大部分が属するため、より広範なエクスパートシャードメッシュを使用します。

  これらのレイアウトを独立させることで、並列化次元も独立して重畳できます：CP＝2 および EP＝8 を 8 つの GPU で実行でき、単一の共有メッシュで 16 の必要があった場合よりも効率的です。これにより、小規模な非エクスパート状態に対する広範な通信を回避しつつ、エクスパート最適化作業を多数の GPU に分散できます。

Composar 2.5 をお試しください

Composar 2.5 の料金は、入力トークンあたり $0.50、出力トークンあたり $2.50 です。
同程度の知能レベルを持つ高速バージョンも用意されており、入力トークンあたり $3.00、出力トークンあたり $15.00 でご利用いただけます。これは他の先端モデルの高速ティアより低いコストです。Composar 2 に準じて、デフォルトオプションは「高速」モードです。詳細についてはモデルドキュメントをご覧ください。

さらに、Composar 2.5 では最初の 1 週間に利用量が二倍にカウントされる特別サービスを提供しています。