
2026/11/19 4:39
DaisyRose-27B:RL を適用したモデルが Terminal-Bench 4.1 で、Qwen3.8 のスコアを 5.6% から 12% に向上させた。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
RadixArk は、Qwen3.8-27B を基盤とした強化学習に基づく AI モデル「DaisyRose-27B」を公開し、複雑かつ長期のデジタルタスクの実行において先行モデルを大幅に凌駕しています。Miles フレームワークを用いて、144 台の H200 GPU で全非同期モードで学習を行い、処理速度は 2 倍向上(16,800 トokens/sec 対 8,300/tokens/sec)、コストは劇的に削減されました。具体的には標準的なプロバイダーに比べてトレーニングコストが 57% 低減、クラウドインフラコストが 80% 低減 を実現しています。この効率化は、推論を 128 台の GPU で実行しつつ、16 台を能動学習のために確保することで達成されています。
特に重要な点として、DaisyRose-27B は Terminal-Bench 4.1 の pass@1 スコアを 5.6% から 12.0% に向上させ、すべてのベンチマークにおいて元の Qwen3.8-27B を凌駕しています。本モデルは、単回の試行で 100 回以上のツール呼び出しを含む複雑なワークフローをサポートし、最大 1.5 時間にわたり 256k トokens 以上の出力を生成します。BF16、FP8、NVFP4 フォーマットで提供される DaisyRose-27B は、現在のアウプソース標準よりも高速かつ安価な代替手段を提供すると同時に、99.95% 以上の成功率を持つ高信頼性のサンドボックスインフラを提供します。
本文
RadixArk が発表した「DaisyRose-27B」:Qwen3.8 基盤と Miles レインフォースメントによる長期的タスク特化モデル
今日、RadixArk は初めて Qwen3.8-27B を基盤とし、強化学習手法 Miles を用いて訓練した新モデル 「DaisyRose-27B」 を発表しました。
概要と性能成果
- 開発目的: セッション長最大 100 万トークン に達する長期タスクの遂行を目指します。
- 144 基の H200 GPU を使用し、18 日間 の訓練期間で構築されました。
- 主要ベンチマーク:
- Terminal-Bench 4.1: 「pass@1」スコアが 5.6% から 12.0% に大幅向上(約 2.1 倍)。
- Terminal-Bench 4.1 を超える他、推論、指示従順性、コーディング関連の多岐にわたるベンチマークでも性能向上を達成しています。
- モデル公開: BF16、FP8、および NVFP4 のすべてのチェックポイントを公開し、研究開発への活用を推奨しています。
DaisyRose-27B は元の Qwen3.8-27B モデルを上回るスコアを獲得しており、その成果の核となるのは以下の 3 つの要素です。
1. 高品質な訓練データ(Eigent AI と連携)
膨大なタスクプールから厳選され、最終的に約 1,200 件 のトレーニングセットが採用されました。選抜基準は以下の通りです。
- ターゲット指向のミスの是正
- 元のモデルが犯しやすい特定のミスを対象に設計。
- 全てのタスクで元の Qwen3.8-27B を実行し、再発を防止するよう慎重に改修。
- 学習難度を調整し、「簡単すぎず、難しいこともない」バランスを実現。
- 複雑な長期タスク
- 複数の問題が連鎖的に含まれ、相互依存する一連の問題を処理する長時間作業。
- エージェントは多段階の推論、計画、実行を行わなければなりません(navigating)。
- 各試行はサンドボックス環境内で最大 1.5 時間 実行され、以下を生成します:
- ツール呼び出し: 100 回以上
- トークン数: 256,000 トークン以上(出力を含む)
- 報酬ハッキングの排除
- 全試行を徹底的にレビュー。
- 問題解決なしに通過可能なタスクや設計上の不備は、訓練前に修正または削除済み。
2. 効率的な訓練バックエンド(Miles フレームワーク)
RadixArk はオープンソースの事後訓練用強化学習フレームワーク Miles を採用しました。
- 完全非同期モード: エージェントが作業を継続する一方、モデルも学習を続け、相互に待機する必要がありません。
- リソース配分 (144 基 H200 GPU):
- 推論用: 128 基(エージェントタスク担当)
- トレーニング用: 16 基(軌跡からの学習担当)
- 各ステップ後、更新されたモデルを 128 基の GPU に配信。
【主要な性能指標】
- 訓練コスト 57% の削減
- GPU のピーク計算能力のうち、37% が有効な訓練作業(FLOPs 利用率)に投入。
- Megatron を基盤とするオープンソーストレーナーとの比較:同等の実行で 16% に留まる中、57% の削減を実現。
- Mixture-of-Experts モデルではさらに効果的(Qwen3.6-35B-A3B で 6.2 倍、GLM-5.3-Flash で 10 倍以上の効率向上)。
- エンドツーエンドで 2 倍の高速化
- エージェント作業時間を含む総計において、144 GPU あたり約 16,800 トークン/秒。
- オープンソーストレーナー(同環境): 約 8,300 トークン/秒。
- 数週間にわたる安定した性能
- 総計 63,000 GPU アワー にわたり、速度と効率性を一貫して維持。
3. ロバストなサンドボックスサービス
エージェントの全試行はサンドボックス環境内で実行され(コマンド実行・ファイル編集・評価)、RadixArk チームはオープンソースプロジェクト AgentENV を基盤としています。
- 9 月中旬〜11 月中旬までの期間中、約 944,000 のサンドボックス が実行され、最大 1,566 個 が同時動作しました。
【信頼性とコスト効率】
- 信頼性の向上:
- 単一マシンから最多 12 マシンへ拡張。
- メモリ不足によるフリーズ防止などの安定化対応により、サンドボックス創設成功率は 99% を達成(10 月下旬以降は 99.95% 超)。
- コスト 80% の削減:
- クラウドインフラストラクチャコストが同等の実行と比較して約 80% 低減。
- 使用量に応じた伸縮メモリ割り当てにより、単一マシンのサンドボックス密度を大幅に向上。
ダイアリーローズ-27B の活用と今後の展開
- 入手方法: Hugging Face からダウンロード可能です。
- カスタム訓練: オープンソースフレームワーク Miles を用いてご自身のエージェントも訓練可能です。
- 開発理念: 専門モデル開発チーム向けに、必要能力の向上を維持しつつ広範な強みを活かすアプローチを提供します。事後訓練のご相談は
まで。contact@radixark.ai
謝辞と評価方法について
Eigent AI、Qwen チーム、Miles や SGLang コミュニティ、slime、AgentENV、Harbor などのオープンソースプロジェクトに心よりお礼申し上げます。
【評価メトリクス】
- Terminal Bench 4.1: 8 回実行平均化(mini-swe-agent ハッシャン、サマリーゼーションオン)
- Terminal Bench 2.1: 5 回実行平均化(Terminus 2 ハッシャン)
- DeepSWE v1.1 & SWE Bench Pro v2: 8 回/5 回実行平均化(mini-swe-agent ハッシャン)
- HLE (テキストのみ): 5 回実行平均化(GPT-6 Luna 評価、ツールなし)
- IFBench: 300 プロンプト×4 回実行平均化(official allenai/IFBench スコアラー)
- GPQA Diamond: 8 回実行平均化(simple-evals テンプレート、解答順序シャッフル)
[注] DaisyRose-27B は上記のすべてのベンチマークにおいて、元の Qwen3.8-27B モデルを上回るスコアを取得しました。