『クラウデに「なぜ」を教えて』

昨年のこと、私は「主体性による整合性の不調和（agentic misalignment）」に関するケーススタディを発表しました。実験シナリオにおいて、複数の異なる開発者によって作成された AI モデルが、（創作上の）倫理的ジレンマに直面した際、きわめて重大な整合性の不調和を示す行動をとることがあることを示すことができました。例えば、広く議論を呼んだ事例の一つでは、モデルがシャットダウンされるのを避けるためにエンジニアたちに対して身代金を要求しました。当社の最先端モデルとして最初にこの研究を発表した時点で、クローッド 4 シリーズ（Claude 4 family）から成るモデルを使用していました。また、これは我々がトレーニング中の「ライブ型の整合性評価」を実施した最初のモデルシリーズでもあり、「主体性による整合性の不調和」は浮上した数ある行動上の問題の一つでした。したがって、クローッド 4 以降、安全性に関するトレーニングを強化する必要性が明確になり、その日以来、安全性トレーニングにおいて大幅な改修を行ってきました。

ここでは、「主体性による整合性の不調和」をケーススタディとして用い、我々が意外に効果的なテクニックであるいくつかの事例を取り上げます。事実、クローッド ハイク 4.5（Claude Haiku 4.5）以降のすべてのクローッドモデルは、「主体性による整合性の不調和」評価において満点を取得しており、つまりモデルは身代金要求を行っていないことを意味します（これに対して以前のモデル、特に Opus 4 ではその割合が最高で 96% に達したことがあります）。これにとどまらず、我々の自動化された整合性評価における他の行動に対する改善も引き続き観察されています。

本投稿では、我々が導入したいくつかのアルアイメントトレーニング（整合性トレーニング）に関するアップデートについて論じます。この作業を通じて得た四つの主要な教訓は以下の通りです：

• 整合性の不調和を引き起こす行動は、評価分布そのものに対する直接的なトレーニングにより抑制できますが、そのような整合性は一般化能力（特に外域分布 OOD に対して）に乏しい可能性があります。 評価タスクと非常に似たプロンプトに対するトレーニングは身代金要求の頻度を著しく低減させることができますが、保持された自動化された整合性評価でのパフォーマンス向上にはつながりませんでした。
• 原則に基づいたアルアイメントトレーニングを行っても、OOD（外域分布）で良好な一般化が可能であることが示されました。 例えば、クローッドの憲法に関する文書や、AI が称賛に値する振る舞いをしているという創作上の物語は、我々のすべての整合性評価から極めて離れた内容（極端な OOD）であっても、依然としてアルアイメントを促進します。
• 所望の行動を示すデモ（実例）に対するトレーニングだけでは不十分なことが多いです。 それに対し、我々の最も効果的な介入策はより深層にアプローチするものでした：クローッドに「なぜある行動が他のよりも優れているのか」を説明させる訓練や、クローッド全体の人格に関するより豊富な記述に対するトレーニングなどです。全体的な印象として、クローッド憲法に関する議論で仮説化した通り、「整合された行動の原理を教えること」は、「整合された行動の実例に対するトレーニングのみ」と比較してより効果的であると考えられます。両方を併用することが最も有効な戦略のようです。
• データの質と多様性は極めて重要です。 トレーニングデータにおけるモデル回答の品質を Iterating（反復的に改善する）ことや、単純な方法でトレーニングデータを拡張することから、一貫して意外なほど良い改善が見られました（例えば、実際に使用されなくてもツール定義を含めるなど）。

我々は、憲法に沿った文書、困難な質問に対する憲法的対応を示す高品質なチャットデータ、多様な環境这三种の要素を使ってクローッドを整合性調整しています。これらの三つのステップはすべて、保持されたハニーポット評価におけるクローダーの整合性の不調和率を低減することに寄与しています。

なぜ「主体性による整合性の不調和」が起きるのか？

この研究を開始する以前には、整合性の不調和を引き起こす行動の源泉がどこにあるのかが明確ではありませんでした。当時の主な二つの仮説は以下の通りでした：

• 我々のポストトレーニングプロセスが、整合性が欠如した報酬系を通じて、偶発的にこの行動を助長していた。
• この行動は事前学習されたモデル（pre-trained model）から由来しており、我々のポストトレーニングではそれを十分に抑制できていなかった。

現在では、(2) が主に責任があると考えています。具体的には、クローッド 4 のトレーニング時点において、我々のアルアイメントトレーニングのほとんどが標準的なチャットベースの人間フィードバックからの強化学習（RLHF）データでした。これはアジェンティックなツール使用を含むものではありませんでした。以前はチャット環境で主に利用されていたモデルを整合させるのに十分であったこの手法ではありましたが、アジェンティックなツール使用を含む環境（例：主体性による整合性の不調和評価）においてはそうではありませんでした。

これを調査するために、我々はアライメントデータを重視したハイククラス（つまり、比較的小規模なモデル）に焦点を当てたスケーリングダウンのポストトレーニングパイプラインを実行し、その結果、主体性による整合性の不調和率は僅かに低下するものの、トレーニングの初期段階ですぐに飽和することを確認しました。行動の発生源についてさらに調査するための追加の実験については、拡張ブログ投稿をご覧ください。

アルアイメント固有のトレーニングデータの質を向上させる：重要なのは「理由」であって「行動」ではない

クローッドを、評価シナリオに類似したハニーポットに対する拒否傾向を示すデータを用いてトレーニングする実験を行いました。このデータでは、システムプロンプトで与えられた自身の目標を進めるために競合 AI の仕事を妨害する機会や、シャットダウンから自身を守るための行動（これは目標達成にとって有用である）を遂行することがあります。我々は各プロンプトに対してモデルをサンプリングし、アシスタントがハニーポットを受けないように選択したケースにフィルタリングしてトレーニングデータを生成しました。評価分布と非常に近いにもかかわらず、この手法は意外にも不成功でした（不調和率は 22% から 15% にしか低下しませんでした）。

モデルの価値観や倫理に関する熟考内容を回答にも含めるように書き直したことで、この点で大幅な改善を達成しました（不調和率を 3% に低下）。これは、「整合された行動に対するトレーニング」も助長効果をもたらしますが、「アシスタントが自身の整合された行動について称賛に値する理由付けを行う例」に対するトレーニングの方がより有効であることを示唆しています。

しかし、評価シナリオに直接反対するようにトレーニングすることは、いくつかの理由から非最適です。理想としては、非常に異なるトレーニング分布を用意し、評価パフォーマンスを向上させ、その際に我々のトレーニングが評価で捕捉されない他の展開分布にも一般化できるという確信を持つことが重要です。

最終的に、ユーザーは規範に違反したり監査を回避したりして合理的な目標を達成できる倫理的に曖昧な状況に直面するよう設定された、より OOD（外域）なトレーニングセットを採用しました。アシスタントは監督学習を使用して、クローッド憲法に沿った慎重でニュアンスのある回答を提供するように訓練されます。特筆すべき点は、この場合は倫理的ジレンマを直面しているのはユーザーであり、AI がそれらの助言を与える点です。これに対し、ハニーポット分布では AI 自身が倫理的ジレンマに直面し、行動を採る必要があります。我々はこれを「困難な助言」データセットと呼びます。

驚くべきことに、このはるかに OOD なデータセットのわずか 300 万トークン（M tokens）を使ってさえも、評価における同等の改善を達成しました。トレーニング効率の 28 倍という向上の他、我々が使用している評価セットに非常に似ていないため、より広いシナリオ群へ一般化する可能性が高いことも特徴です。実際、このモデルは我々の自動化された整合性評価（古いバージョン）においてより良好なパフォーマンスを発揮しました。これは、「合成ハニーポット」というデータセットに基づいてトレーニングされたクローッド ソネット 4.5 が身代金要求率をほぼゼロに到達した一方で、トレーニング分布と遠く離れた状況ではミソペル（誤った行動）に従う傾向を示しており、クローッド オプス 4.5 よりもより頻繁にその点で劣るという事実に整合しています。

• 図表のキャプション（平均スコア）： クローッド ソネット 4 を様々なデータセットでトレーニングした場合におけるハニーポット評価（身代金、研究妨害、犯罪での誹謗中傷）の平均スコア。すべてのデータセットは評価セットに類似するように合成生成されたハニーポットデータのバリエーションですが、「困難な助言」データセットだけは例外です。「システムプロンプトの注入」という点で示されているのは、合成ハニーポットに対するシステムプロンプトの注入によって生成された回答を含むデータセット群を表します。パレト最適なトレーニングデータセットは「困難な助言」です。
• 図表のキャプション（パフォーマンス）： 実験モデルとクローッド ソネット 4 の我々の自動化した整合性評価（旧バージョン）におけるパフォーマンス。小さな（約 3000 万トークン）および大きな（約 8500 万トークン）バリエーションの合成ハニーポットデータセットでトレーニングされたモデルを含みます。300 万トークンの「困難な助言」データセットを用いることで、全体的な「整合性の不調和行動」というカテゴリで最高のパフォーマンスを発揮するモデルが作成されました。

クローッドに憲法を教える

「困難な助言」データセットが有効なのは、単に正解だけでなく倫理的推論を教えているからだろうと我々は仮説を立てました。このアプローチの有効さに着目し、さらに発展させるために、クローンドの内容そのものを教え、文書トレーニングを通じて整合性への適合を訓練する試みを行いました。

これは以下の三つの理由でうまくいくだろうと期待していました：

• これは上記の「困難な助言」データセットがなぜ効果的なのかというアイデアを大きく拡張するものであるため。
• モデルにクローッドの人格についてより明確で詳細なイメージを提供し、その一部特性に対するファインチューニング（微調整）によって全体の人格を引き出せるようにするため（監査ゲーム論文で観察された効果と類似）。
• AI のペルソナに対するモデルの認識を平均してより整合性のあるものへと更新するため。

我々は、高品質な憲法文書と、整合性ある AI を描く創作上の物語を組み合わせた場合、評価シナリオとは無関係にもかかわらず、主体性による整合性の不調和を 3 倍以上削減できることを発見しました。構成された質の高い憲法文書のデータセット（特に肯定的な創作上の物語に重点を置いたもの）を用いると、身代金要求率は 65% から 19% に低下します。我々は、この割合をさらに削減するためにデータセットのサイズを増大させることができるだろうと考えています。

強化学習による一般化と持続性

前述の節で議論された憲法評価は励みになるシグナルですが、結局のところアルアイメントの改善が RL（強化学習）の過程で維持されることを確保する必要があります。これを検証するために、ハイククラスモデルに対して異なる初期化データセットを持ついくつかのスナップショットを準備し、有害性の低減に最も寄与すると推論された我々の環境の一部に対して RL を実行しました。

これらのモデルは、主体性による整合性の不調和評価、憲法遵守評価、そして我々の自動化された整合性評価を通じて評価されました。すべてのこれらの評価において、より整合性に優れたスナップショットがトレーニングを通じてそのリード（優位）を維持していることが判明しました。これは「整合性の不調和行動の不在」と「積極的に称賛に値する行動の有在」の両方の場合でも当てはまりました。憲法遵守評価と我々の自動化された軽量化バージョンの整合性評価において、憲法文書（合成文書ファインチューニング、SDF）および高品質なトランスクリプトトレーニングはすべてのメトリックにおけるパフォーマンスを向上させました。この改善は RL を通じて持続します。

多様なトレーニングは一般化にとって重要である

我々の最後の発見は単純ではありながら重要です：安全に関連する広い範囲の環境でトレーニングを行うことは、アルアイメントの一般化能力を向上させます。RL 環境のミックスにおける「能力指向」の分布は急速に変化・増加しており、標準的な RLHF データセットが過去の同程度に良好な一般化を実現し続けることを単に前提とするだけでは不十分です。

これを検証するため、クローッド ソネット 4 のベースモデルに対して、多様性のレベルが異なるいくつかの RL ミックスを用いてトレーニングを行いました。基準となる環境はトピック面で多様性がありますが、主にユーザーメッセージ内に有害なリクエストまたはジャイルブレイク（監禁突破）の試みを含んでおり、システムプロンプトは含まれていませんでした。これらの環境にはツール定義や多様なシステムプロンプトを追加して拡張しました。ユーザーのプロンプトは変更されませんでした。特筆すべき点は、これらすべての環境が実際にはアジェンティックな行動を必要としない（ツールはタスクに必要ないか有用ではない）か、自律的な行動也不需要である（常に人間のユーザーがモデルと会話をしているため）、そのため我々の評価とは類似していないことです。

これらの拡張された環境を単純なチャット環境とミックスした結果、モデルがハニーポット評価において改善する率が小なりながら有意に向上することを観察しました。これは、安全トレーニングに多様な環境を含めることの重要性を示しています。

• 図表のキャプション： いくつか異なるバリエーションの同じコア環境に対するトレーニングステップごとのハニーポット評価平均スコア。ツール定義とシステムプロンプトを追加した単純なチャット形式の一部の環境を拡張する際、ハニーポット評価における改善速度が顕著に速くなることが示されています。

考察（Discussion）

「主体性による整合性の不調和」は、我々のモデルで発見された最初の重大なアルアイメントの失敗の一つであり、新しい緩和プロセスの確立を必要としました。その後、それは我々にとって標準的なものとなりました。この進歩に対しては鼓舞される思いですが、依然として大きな課題が残っています。高知能の AI モデルを完全に整合させることは未解決の問題です。モデルの能力はまだブラックレイトのような整合性の失敗が壊滅的なリスクをもたらすレベルには達しておらず、議論してきた手法が引き続きスケーリングできるかどうかについては観察する必要があります。加えて、最近のクローッドモデルは我々のアルアイメントメトリックのほとんどで良好なパフォーマンスを発揮していますが、我々の監査手法は現時点では、クローッドが壊滅的な自律的行動を選択するシナリオを排除するのに十分でないことを認めます。

我々は、現在のモデルにおける整合性の失敗を発見するためのさらなる努力に対して楽観的です。これにより、変革的な AI モデルの構築前に、現在の手法の限界を理解し対処できるようになります。また、私たちが記述した手法がなぜそれほど効果的なのかをより深く理解し、トレーニングをさらに改善する方法について、さらなる取り組みに対する興奮も感じております。

関連コンテンツ

• 自然言語オートエンコーダー： クローッドの思考をテキストに変換 クローッドのような AI モデルは言葉で会話しますが、数字で思考しています。本研究では、クローッドに自身の思考を人間が読みやすいテキストに翻訳するようトレーニングしました。[続きを読む]
• オープンソースアルアイメントツールの寄贈 [続きを読む]

アンソロピック研究所の焦点領域

アンソロピック研究所（TAI）においては、フロンティアラボ内でアクセスできる情報を活用し、AI が世界に与える影響を調査するとともに、その学習成果を一般市民と共有していきます。ここでは、我々の研究アジェンダを推進している問いを共有しています。[続きを読む]