Ornith-1.5：自己改善による基盤モデル構築への画期的な一歩

本日発表の Ornith-1.5 は、エンドツーエンドの自己改善を介した基盤モデル構築における重要な進展です。Ornith-1.0 で導入された「自己スケルトン化」フレームワークを発展させ、より完全な自己改善のループへと拡張しました。

• 自己改善の仕組み: モデルが新たなタスクを提案し、タスク固有のスケルトンを生成し、強化学習用の解答展開を生み出すことで、絶えず学習経験を創出し、継続的に自己改良を遂げていきます。
• 構成モデル規模:
  • 397B MoE (超大規模)
  • 35B MoE (中規模)
  • 9B dense (軽量版)

推論、エージェント（agentic）、コーディングを含む幅広いタスクにおいて高い汎用知能を実現することを目的として設計され、同等規模のオープンソースモデルの中で広範なベンチマークにおいて最先端のパフォーマンスを達成しました。

主要なベンチマークスコアと性能比較

Ornith-1.5-397B の主要スコア：

• Terminal-Bench 2.1: 86.1
• DeepSWE: 56.0

これらの結果により、Ornith-1.5-397B は以下の性能を発揮しました。

• Claude Opus 4.8（85.0 および 59.0）と同レベルのパフォーマンスを実現。
• 同規模の主要なオープンソースモデルを凌駕する結果を出しています：
  • GLM-5.2（82.7 / 46.2）
  • DeepSeek-V4-Flash-0731（82.7 / 54.4）

軽量版の優位性:

• Ornith-1.5-9B (および量化的された Ornith-1.5-9B-Mobile) は、iPhone や Android デバイスへの容易なデプロイが可能です。
• Gemma 4-31B や Qwen 3.6-35B のようなより大型のモデルに比べて、大幅な優位性を示します。

---

自己生成タスクによる包括的な自己改善ループ

Ornith-1.5 は、固定された人手によるキュレーションや手動で設計されたハルネス（評価器）への依存から解放され、モデル自体が絶えず新たな学習タスクを生成し、強化学習を通じてポリシー自体を改善します。

各トレーニングサイクルは以下の 3 つの段階 を通じて進行します。

1. タスクの提案（Task Proposal）

   • システムは、過去の解決履歴や高レベルな指示に基づき、モデルが既に解決済みを超えた、徐々に難度の高いタスクを提案します。
   • これにより能力のギャップを浮き彫りにし、トレーニングのフロンティア（境界）を絶えず押し進めます。

2. スケルトンの生成（Scaffold Generation）

   • モデルは各タスクに対し、問題に取り組みに使用される指示、ツール、分解戦略、およびオーケストレーションを含む、タスク固有のスケルトンを生成・改善します。

3. 解答展開（Solution Rollout）

   • ポリシーがタスクとスケルトンに対して条件付けられ、解答の展開を生み出します。
   • 展開から得られる報酬は全ての段階に伝播するため、システムは「より良い解答」「より有用なトレーニングタスク」「より効果的なスケルトン」の生成を学習します。

このプロセスが反復されることで、閉じた自己改善ループが形成されます：

• 強力なポリシーがより困難で情報豊かなタスクの生成を可能にします。
• 進化するスケルトンモデルが発見するモデル能力を引き出す方法を向上させます。
• 高品質な展開が提供する学習シグナルが次第に効果を高めます。

これにより、Ornith-1.5 は自らのカリキュラムを絶えず拡張し、推論・コーディング・エージェントタスクにおいて持続的な能力の向上を推進します。

---

タスク報酬（Task Reward）の定義

「質問 → スケルトン → 展開」というセットアップにおいて、タスク報酬 ( R_{\text{task}} ) は以下の 3 つのシグナルに基づいて定義されます。

[ R_{\text{task}} = \underbrace{V(q,s)}{\text{妥当性}} \times \underbrace{D!\left(q,s,{\tau_i}\right)}{\text{フロンティア難度}} \times \underbrace{N(q)}_{\text{新規性}}. ]

各シグナルの詳細

• ( V )（妥当性と検証可能性）:

  • 生成されたタスクとスケルトンが、妥当かつ検証可能な学習環境を形成しているかを測定します。
  • スケルトンの正常動作、高自信度の解答の通過、評価結果との整合性などをチェックし、決定されます。
  • 重要: 妥当性が 0 である場合（( V(q,s)=0 )）、報酬は自動的に 0 となり、単に難度が高くても変なタスクには与えられません。

• ( D )（フロンティア難度）:

  • タスクがモデルの現在の能力フロンティアの付近にあるかを測定します。
  • 経験的達成率 ( p ) が目標とするフロンティ ( p^* ) (0.2) に近いタスクに対して高報酬を与えます。
  • モデルが向上するにつれ、より困難な問題へと導かれるよう設計されています。

[ D(q,s,{\tau_i}) = \exp!\left(-\frac{(p-p^*)^2}{2\sigma^2}\right) ]

• ( N )（新規性と多様性）:
  • 以前に生成されたタスクとの相対的な新規性を測定します。
  • 同じタスクの小さなバリエーションを繰り返すことを防ぎ、冗長性を減らします。
  • 目的は「奇抜なタスク」を作ることではなく、「多様な学習経験」を提供することです。

[ N(q) = 1 - \max_{q_j \in \mathcal{B}} \operatorname{sim}(q,q_j) ]

この乗算形式により、提案側は**「妥当・検証可能」「適切な難度」「十分な新規性」**の 3 条件を同時に満たすタスクを生成することを促されます。

---

ハルネスおよび展開報酬

ハルネス ( h ) は、タスクと整合しており、解答の質に忠実で、報酬ハッキングに対して強靭な評価環境を提供します。

[ R_{\text{harness}} = \underbrace{C(q,h)}{\text{タスクとの整合性}} \times \underbrace{F!\left(h,{\tau_i}\right)}{\text{報酬の忠実度}} \times \underbrace{H(h)}_{\text{ハッキングへの抵抗力}}. ]

• ( C ): ハルネスがタスク仕様を忠実に反映しているか。
• ( F ): 報酬が候補解答の真の質を追跡しているか。
• ( H ): 評価機の失敗やショートカット、報酬ハッキングへの抵抗力。

展開最適化:

• 各展開 ( \tau_i ) は生成されたハルネスによって直接スコアリングされます： [ R_{\text{rollout}}(\tau_i) = h(q,\tau_i) ]
• 質問生成、ハルネス生成、解答展開はそれぞれ GRPO（Group Relative Policy Optimization）で最適化され、3 つの段階が同一の自己改善ループ内で同時に改善されます。

---

モデルベンチマークサマリー

スケール	パフォーマンスハイライト
Ornith-1.5-397B	Terminal-Bench 2.1 で 86.1、DeepSWE で 56.0。Claude Opus 4.8 と同水準で、GLM-5.2 や DeepSeek-V4 等主要なオープンソースモデルを上回ります。
Ornith-1.5-35B	コーディングおよびエージェントベンチマークにおいて Qwen 3.6-35B に著しく優れています。 有効パラメータが僅か 30 億（3B）にもかかわらず、Gemma 4-31B よりもエージェントコーディング性能で上回ります (68.5 vs 43.4)。
Ornith-1.5-9B	エッジデバイス向け版。 Terminal-Bench 2.1 で 47.0、SWE-Bench Verified で 70.6 を達成。パラメータ数 9B のモデルでありながら、はるかに大きなモデルと同等かそれ以上のパフォーマンスを発揮します。

詳細な比較表については技術報告をご覧ください。