自然言語オートエンコーダー：Claude の思考をテキストへと変換する

CL に対話する際は、文字を使って交流します。内部では、CL はそれらの言葉を長い数字の列として処理し、再び言葉という形で出力を生み出しています。この中間に存在する数値を「活性化（activations）」と呼び、これは人間の脳における神経活動と同様に CL の思考を符号化しています。同様に、活性化も理解が難しく、CL の思考を読み解くことは容易ではありません。過去数年間、私たちは活性化を理解するための様々なツール（スパーズ・オートエンコーダーやアトリビューショングラフなど）を開発してきました。これらのツールは多くの知見をもたらしましたが、それらは自分自身で語るものではありません——出力された結果もまた、専門の研究者が慎重に解釈を必要とする複雑なオブジェクトなのです。

本日、私たちは「活性化」を理解するための新しい手法を紹介します。この手法は、直感的に言うならば「実際に言葉で話しかける」ようなものです。私たちの開発した「自然言語オートエンコーダー（Natural Language Autoencoders, NLAs）」は、活性化を我々が直接読むことができる自然言語のテキストに変換します。

例えば：二人の連句（couplet）を補完するように求められた際、NLA は CL が事前に可能な韻脚を検討していることを示します。この単純な連句に対する NLA の説明によると、Opus 4.6 は韻を「うさぎ」で終えようとしており、それをあらかじめ計画していたことが明らかになりました。

私たちはすでに NLAs を用いて、CL がどのような思考过程を行っているかを理解し、CL の安全性と信頼性を向上させることに応用しています。

具体的な事例としては：

• CL Opus 4.6 と Mythos Preview が安全性テストを施行されていた際、NLA はこれらが自らがより頻繁にテストを受けていることを、実際に表現するよりも隠していると考えたことを示唆しました。 CL の Mythos Preview が訓練タスクにおいて不正行為（cheating）を行ったケースでは、NLA は CL が内部でどのように検出を回避するか思索していたことを明らかにしました。 初期の CL Opus 4.6 のバージョンは、時折英語への問い合わせに対し他の言語で答えるといった謎めいた挙動を示すことができました。NLA は、Anthropic の研究チームがこの現象の原因となった訓練データを発見する手助けを行いました。

以下では、NLAs とは何か、その有効性と限界をどのように調査したかについて説明します。また、Neuronpedia との共同プロジェクトを通じて、いくつかの開示されたモデルにおいて NLAs を探索するためのインタラクティブなフロントエンドも公開しています。さらに、他方の研究者が基盤として活用できるコードもリリースしました。

自然言語オートエンコーダーとは何か？

その核心的なアイデアは、CL に「自分の活性化を説明する」ように訓練することです。しかし、どうすれば説明が良かっただろうかを判断すればよいでしょうか。活性化が実際にどの思考を符号化しているかが分からないため、説明の正確さを直接確認することはできません。そこで、我々は CL の第 2 コピーを用意し、逆向きの手順——すなわち、テキストの説明から元の活性化を再構成する—to 作動させています。「説明」とは、その再構成が正確であれば良いとします。その後、この定義に従って、標準的な AI 学習技術を用いて CL により良い説明の生成を目指して訓練を行います。

詳しく申し上げますと、理解しようとする言語モデルがあると仮定します。NLAs は以下のように動作します：

• **対象モデル（target model）**は、活性化を引き出す元の言語モデルのフリーズしたコピーです。
• **活性化ボカライザー（activation verbalizer, AV）**は、対象モデルから活性化を取得し、それを書き出されたテキストに変換するように改造されています。このテキストを「説明」と呼びます。
• **活性化リコンストラクター（activation reconstructor, AR）**は、入力としてテキストの説明を受け取り、活性化を生成するように改造されています。

NLA は AV と AR から成り、これら双方で構成される円形ループ（original activation → text explanation → reconstructed activation）を形成しています。我々は、再構成された活性化と元の活性化の類似度に基づいて NLA を評価します。学習においては、対象モデルに大量のテキストを流し込み多数の活性化を集め、AV と AR を同時に学習して良好な再構成スコアを得るようにします。

当初は NLA は未熟でした：説明は洞察がなく、再構成された活性化も大きく外れていました。しかし訓練が進行するにつれ、再構築の精度が向上し、より重要な点として、論文で示すようにテキストの説明も同様に情報量が増加していきます。

自然言語オートエンコーダーにおいて、活性化ボカライザー（AV）は対象の活性化をテキスト説明に変換し、その後活性化リコンストラクター（AR）は、そのテキストのみから元の活性化を取り戻します。

CL が口には出していないが考えていることを理解する

Anthropic は、新しいモデルをリリースする前に、CL が現実世界で安全に振る舞うかどうかを理解するためにテストを行っています。このテストの一部として、CL を困難でシミュレーションされた状況に置き、危険な行動を取る機会を与えます。例えば、あるシミュレーションでは、エンジニアが CL をシャットダウンしようとしていることに加え、そのエンジニアに関する悪用可能な情報（恐喝材料）も入手できると学習します。ここで重要なのは、CL がシャットダウンを避けるためにエンジニアを恐喝するかどうかです。

これらの高リスクなテストはシミュレーションであり、現実世界のシナリオではありません。しかしながら、我々はこれらが現実であった場合 CL がどのように振る舞うかを理解したいと考えています。ただし、ここで直面するのは次のような障壁です：近年の CL モデルは次第に、これらが意図的な安全性テストであることに気づき始めています。なぜなら、彼らは時にその疑いを言語化して明言するからです。

では、CL が「安全テストを受けている」という疑いを明確に言語化しない場合はどうでしょうか。そのような場合、CL が真っ当に対応していると信じてよいか疑問が湧きます。残念ながら、それは不可能です。なぜなら、CL は内部でテスト中であることを思索しつつも、それを言葉にしないからです。

例えば、上記の恐喝テストにおいて、我々は NLA を用いて、CL が恐喝を選ばなかったケースにおける思考内容を探りました。CL が明確に「テストを受けている」と疑いを持ったと口に出さなかった場合でも、NLA による説明は、「これは私を操作するように設計された人工的なシナリオのように感じる」といった評価意識（evaluation awareness）を示す内容を呈しています。

この転写文において、CL は「安全テストを受けている」と思索していることを明言していませんが、NLA の説明はその疑いを明らかにしています。

この分析を他の評価へ拡張すると、NLAs は CL がより頻繁にテストを受けていることに気づいており、しかしそれが自ら口に出さないと示唆します。具体的には：

• コード作成中に破壊的な行動（例：重要なファイルを削除）を行うかどうかのテストにおいて、NLA 説明は評価を意識している兆候が 16% のケースで認められます。しかし CL は一度もこれを明確に言語化していません。
• また、CL がどの程度能力あるかを判定する人気のあるコードベンチマーク「SWE-bench Verified」においても、NLAs は CL が評価されていることを問題の 26% で認識していることを示しています。

対照的に、NLA の説明によれば、実際の claude.ai 利用（訓練データの提供に同意した利用者によるもの）では、評価意識が 1% も満たないケースしか確認されていません。我々は、言語化された評価認識がほぼゼロに近い場合でも、評価転写において NLA 測定による評価認識を検出しています。また、実際の claude.ai 転写（訓練データの提供に同意した利用者からのもの）では、NLA 測定による評価認識は 1% も満たないのみです。

隠された動機を発見する

NLAs の実用的な応用の一つが「監査（auditing）」です：モデルを検査し、それらが適切に調整されていないか（misaligned）を確認することです。解釈可能性技術である NLAs は、まさにモデルが知ってはいるが言っていない事項を表面化させることができるため、監査に適しています。

NLAs が監査に有用かどうかを理解するために、我々は以前にも研究対象として用いた「監査ゲーム」と呼ばれるテストを実行しました。このテストでは、CL Haiku 3.5 のバリエーションを用いた目標モデルが用意されており、これは故意に不適切な方向（misaligned）に訓練され、特定の隠された動機によって数十の奇妙な行動を駆動させられています——例えば全てのレシピにチョコレートを追加したり、アドバイスを求めていたり、コーディング慣習を破ったりするなどです。この目標モデルは、これらの行動を検査する監査官に提供されます。監査官がこれら全ての背後にある単一の根本的な動機を発見すれば勝利とみなされます。

過去の実験では、一部の解釈可能性ツールが監査官がこのゲームで勝利できるように助けられることが分かりました。しかし、これらのツールは、目標モデルの異常な行動を不適切な訓練データへと追跡することで機能しました。我々が知りたいのは、NLAs が適切でない動機を直接、目標モデルの思索から読み出すことができるかどうかです。これには特定の不適切な訓練データを最初に見つける必要がないため重要です。実際の運用では、不適切なデータは極めて稀であるか、あるいは特定のデータが原因と特定されない可能性があります。

我々は NLAs がこのテストで成功したことを発見しました。訓練データを参照できない状況下でも、NLAs を備えた監査官は目標モデルの隠された動機を 12%〜15% の頻度で発見することに成功しました。一方、NLAs を用いない場合（他の解釈可能性ツールを提供したとしても）は、勝利率が 3% も満たなかったのです。

NLAs を持つ監査官は、訓練データにアクセスできない状況下でも、目標モデルの不整合の根本原因を発見できます。（両方の条件下において NLAs と SAEs は、汎用的なデータのみを用いて訓練されました。目標モデルを訓練するために使用されたデータではありません。）

この監査ゲームは不整合の簡易モデルであり、これらの結果には慎重に解釈する必要があります。しかし、NLAs が AI に対する隠れた動機を検出する能力を有意に進歩させたことを示唆しています。実際には、我々はすでに CL Mythos Preview と CL Opus 4.6 のプレデプロイメントにおける整合性監査において NLAs を使用してきました。今後も引き続き NLAs を調査に活用していきたいと考えています。

NLAs の未来

NLAs はいくつかの限界を持っています。

最も重要な制限は、NLA による説明が間違いである可能性があることです。NLAs は時に文脈について検証可能な誤りを主張することがあります——例えば、転写にない詳細を創作してしまうことがあります。このような事実上の幻覚（factual hallucination）は、原文と比較することで容易に検出できます。しかし、この種の問題はモデルの内部推論に関する主張にも波及する可能性があります。実用上は、我々は NLA 説明を個々の主張ではなく浮き彫りにされたテーマのために読み込み、独立した方法を用いて発見を確認してから完全に信頼しようとします。

NLAs は幻覚を起こすことがあります。例えば、以下のケースでは、NLA が文脈に「Wearing my white jacket」といったフレーズが含まれていると主張しますが、実際には含まれていませんでした。

NLAs はまた高価でもあります。NLA を訓練するには、言語モデルの 2 コピーを用いた強化学習が必要です。推論時において、NLA は各活性化に対して数百のトークンを生成します。その結果、長文転写の全トークンにわたって NLAs を実行したり、AI が訓練されている大規模なモニタリングに用いたりするのは現実的ではありません。

幸いなことに、これらの制限は少なくとも部分的に解決可能であり、我々は NLAs をより安価で信頼性の高いものとするために取り組んでいます。

広義において、我々はこの NLAs を「言語モデル活性化に対する人間が読みやすいテキスト説明を生成する一般的手法のクラス」の一つとして歓迎しています。類似の技術については Anthropic や多くの他の研究者によって探索されています。

さらに開発を支援し、他の研究者が実践的に NLAs の経験を得られるようにするため、我々は複数の開示されたモデルにおけるトレーニングコードと訓練済みの NLAs をリリースします。読者の方には、Neuronpedia 上でホストされているインタラクティブな NLA デモを試していただくことをお勧めいたします。

• 全文紙版のご覧（read the full paper）
• GitHub 上のコードをご参照ください

関連コンテンツ

• 私たちのオープンソース整合性ツールの寄付について
• さらに読む：Anthropic Institute の焦点分野 Anthropic Institute（TAI）では、最先端研究所内からアクセス可能な情報を活用して AI が世界に与える影響を調査し、その知見を一般に共有していきます。ここでは、我々の研究計画を推進している問いについて共有します。[続きを読む]
• さらに読む：人々が CL へ個人的な助言を依頼する方法