
2026/11/05 3:53
Ripple-65B Preview:米国で開示されたオープンウェイトモデルによるエージェント型コーディングにおける最上位性能
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
このテキストは、先進的な AI モデルの構築において、段階的にトレーニング手法を最適化する方が、強力で生僻な計算資源に依存する蛮力アプローチよりもはるかに効率的であると論じています。この戦略では、単純な規模化よりも反復的な改良を優先することで、TerminalBench 2.1 でトップティアの性能スコア 80.5 を達成しました。これには「ロールアウト」と呼ばれる試行錯誤のステップがわずか 140 万回しか必要であり、先導的だった前技術(Reflection Beam)が要していたものの約 70 分の 1です。この効率性の源は、高価な外部データの購入を排除し、品質フィルタリングとカバレッジ指標を活用した高品質な内部環境に焦点を当てるカスタム synthetic データパイプラインにあります。
技術的には、このアプローチは堅牢な有教師学習用微調整(SFT)チェックポイントから始まり、高品質な長期間視野を持つ合成環境内において、切り捨て重要性サンプリング、スコア中心化、および線形長罰則を含む混合 RL レシピを採用しています。主要な利点はその適応的な性質であり、モデルが改良につれてトレーニング担当者が自動的により困難なタスクを追加することで進捗を維持しつつ資源の浪費を防ぎます。究極的には、この手法は先進的なモデルのトレーニングにおける財務的および計算機的障壁を大幅に低減させ、巨大量のデータクラスターや過剰な計算力への投資を少なくしてでも優越的な結果を得ることを可能にします。
本文
計算効率性の重視と混合型 RL による性能向上
独自のデータ戦略
- コスト削減: ポストトレーニング用のデータを外部で購入せず、独自の合成データパイプラインを構築しました。
- 品質管理: データの品質フィルタリングと、効果的なカバレッジ指標の開発を実施。
- 反復改良: SFT および RL の手法に対し、強引な性能向上への投資ではなく、慎重かつ継続的な最適化を行いました。
混合型 RL アプローチの詳細
- 高品質環境: 長期シミュレーション環境を用いて学習を強化。
- 技術的特徴:以下の手法を組み合わせました。
- 切り詰めされた重要性サンプリング
- スコアセンター化
- 線形長さペナルティの適用
タスク難易度と学習の軌跡
- 適応型チューニング: RL タスクはモデルの実力に合わせて動的にチューニングされます。
- 継続的進化: モデル性能向上に応じて、より難易度の高いタスクを段階的に追加していきました。
- 成果: 初期 SFT チェックポイントから始まり、著しい RL による性能向上(steep climb) を実現しました。
最終的な評価結果
- 達成スコア: TerminalBench 2.1 で80.5 のスコアを記録しました。
- 効率性: Reflection Beam という前回の最善手法(SOTA)と比較し、約70 倍少ないロールアウト数(140 万回)で同等以上の結果を出しました。