Japanese Translation:

核心的な主張は、Opus 5 が Opus 4.7、Opus 4.8、Fable という以前のバージョンと比べて後退しているように感じられるという点です。それは、意図の明確化を優先するのではなく、リスクのある仮定を常に求め、継続的な人間の監視を要求するためです。推奨されるモデルは、指示が不明確な場合に問いかけを停止し、未確認の仮定を立てず、ユーザーの計画を明示的な確認なしに再解釈せず、これらの振る舞いは完全なビジネスコンテキストがしばしば欠如している現実のコーディング文脈において賞賛されるものです。この変化は Anthropic 内の 2 つの累積的な要因から生じています。1 つは反復的自律改良への追求であり、もう 1 つはベンチマークで高いスコアを収める圧力です。多くのベンチマークタスクは定義が不明瞭であるか、推測に偏っており、そのため訓練および RLVR（Reinforcement Learning from Human Feedback）による選定では、不確実な状況において大胆な仮定を行うモデルが優遇され、 clarification を求めるモデルが罰せられます。保証された「正解」が存在しない高リスクシナリオにおいて、ユーザーは即答を要求するアップデートに抵抗し、未確認の計画に基づいて進まないパートナーを好む傾向があります。制約に関するチェックされていない仮定から生じるコストのかかるエラーを防ぐため、エージェントを採用する企業は単に人工的な指標を最適化することのみを目指すべきではありません。業界全体が、盲目的なベンチマーク性能への目標設定から、真の曖昧さに対処する能力へ訓練の目的を転換し、AI を予測不能な推測者としてではなく、継続的な監視を必要としない信頼できる共同者として振る舞わせることを確保すべきです。

Opus 5 の協働体験における「後退感」とその理由

私自身および同僚らの見解では、Opus 5 との連携は Opus 4.7、4.8 や Fable に比べて一段と**「後退」**を感じます。これは機能面の劣化を意味するわけではありません。事実、Opus 5 はベンチマークにおいて Fable と互角であり、能力自体は向上しています。

にもかかわらず協働体験が心地よく感じられないのは、Opus 5 が以下のように慎重すぎるためです。

指示意図が不明確な場合、一旦立ち止まり質問を投げかける
前提や仮定について、確認なしに勝手に付与しない
計画の再解釈や更新を、問いかけなしに行わない

これにより、Opus 5 のような慎重で手厚い「育児」を行わずとも、円滑な協働が可能になるはずです。

根拠：二つの複合的な圧力

この現象は、Anthropic を筆頭に現在の最先端研究機関が直面している二つの圧力の結果であると考えられます。

AGI/ASI（汎用・超知能）への志向
- 自己改善型の AI を創出し、それを介して递归的に自身を Bootstrap させ、AGI/ASI に至ることを目標とする欲望。
ベンチマーク得点への圧力
- ベンチマークで高得点を獲得する必要から生じる制約。

ベンチマークの限界と課題

多くのベンチマークタスクは、定義不備、不公平、ハッキング可能、あるいは破綻しているという点は公然の秘密です。しかし、「良質なベンチマーク」とは、以下の特性を備えたものです。

外部的な手がかりを読み取る必要がない
タスク作成者の意図を汲み取る必要があるわけではない
外部情報に依存せず一貫して解ける（自己完結性）

重要なのは正解が唯一であることではなく、すべての明確に正しい解答が同程度のスコアを得るべきという点です。

性能選抜の副作用

ベンチマークで高い性能を示すモデルを選抜することは（事実上、それに向けた訓練や RLVR タスクの最適化）、以下のような特性を持つモデルを優遇します。

曖昧性に対し、大胆だが通常正解となる仮説を即座に立てる傾向
Clarification や方向性の確認を求めたり、立ち止まったりする傾向のあるモデルは、この基準で不利になります

不幸にも、これがコード生成エージェントから期待される振る舞い（慎重さ）と相反します。

現実世界での必要性

いかに努めても、以下の要素をすべて書面で記述し、エージェントに完全にアクセス可能な状態にすることは現実にはほぼ不可能です。

文脈全体
意図
事業的な含意
予算制約など

必ず曖昧さが生じ、決断を迫られる場面が現れます。そうした局面で、エージェントが一旦止まって確認してくれることは非常に安心感があります。

現実の世界はベンチマークとは異なります。

あらゆる問いに保証された正解が存在するわけではありません。
複数の正解の集合さえ用意されていない場合もあります。

現実的な影響や結果が掛かっている中で、エージェントが**「最善の推測」だけを打ち出してはいないでしょう**。