Japanese Translation:

本論文は、大規模言語モデル（LLM）が本質的に「言語的不可読性」を有していると論じている。すなわち、活性化空間における内部の数学的操作は、完全に言語によって表現されることはできないためである。この理由から、モデルからの言語的自己報告に依存するセキュリティ機構（思考連鎖の監視や憲法的自己批判など）は根本的に妥当性が欠け、すでに安全チェックを迂回させるために悪用されてきた。このような脆弱性を是正するために、本論文ではモデルの出力の解釈に依存しない非言語的な検証手法の採用を推奨している。具体的に提唱される防護策としては、「汚染追跡（taint tracking）」によるデータフローの監視と機微なシステム状態の分離、ならびに堅牢なバーチャル化環境とサンドボックス設定に対するサードパーティ監査などが挙げられる。これらの隔離技術は、境界モデルによる攻撃を防ぎ得る安全性の臨界基準を確立するために不可欠であり、脆弱な言語的監視の下に保護的な床を形成するものとして位置づけられている。

LLM の「言語的不可読性」：セキュリティとサンドボックス設計への示唆

はじめに

大規模言語モデル（LLM）は自然言語の生成のために訓練されています。しかし、複数の根拠から以下のような問題が指摘されています。

信頼性の低い視座: 外部化する言語的な出力や、メカニズム的に抽出された言語特性は、モデル内部の計算プロセスを理解するための信頼性の低い指標である可能性があります。
用語の定義: 本稿では、この状況を指す概念として**「言語的不可読性（Linguistic Illegibility）」**という用語を導入します。

言語的不可読性の本質

LLM の内部計算は、直接言語を通じて表現されるものではなく、以下のプロセスで構成されています。

数学的操作: モデル内部では活性化空間上で数学的な操作が行われます。
損失を伴う変換: 活性化空間と自然言語との間には境界部での変換が生じ、この過程において情報損失が発生します。
結論: このため、LLM における「言語的不可読性」の脅威は避けられないという見解です。

セキュリティメカニズムへの影響

もし言語的不可読性が常に発生し得る場合、モデルからの言語的な自己報告に依存するセキュリティメカニズムは、決して完全に信頼性を有することはできません。

信頼できないとされる手法の例

以下のようなアプローチには限界があります。

思考連鎖（Chain-of-Thought）の監視: モデルが出力する思考プロセスの解釈。
憲法主義的自己批判: 言語的に定義されたルールに従った自己検証。
活性化プローブ: 言語的に定義された特徴ベクトルに対するメカニズム的な抽出。

提案：ティント・トラッキング（汚染追跡）

モデルサンドボックスの実現には、言語状態への依存性を有さない保証に基づく隔離技術の常設が必要です。

有望なアプローチ: モデル出力の観測に対して**「ティント・トラッキング（Taint Tracking / 汚染追跡）」**を採用することです。
仕組み:
- 事前的に定義しうるシステム状態の複数の要素について、指定を行います。
- モデルがどのような言語的な自己報告を行おうとも、モデルが生産するデータの影響を受けないようにします。

追加的なサンドボックス機構

さらに、以下の仕組みを組み合わせることで、相互に補完し合いながら強靭な仮想化環境を構築できます。

サードパーティによる監査: サンドボックス構成の独立性を保証します。
脆弱性への緩和: これらの組み合わせは、最先端モデルが近年経験したいくつかのサンドボックス脆弱性に対して効果的な緩和をもたらします。
基盤としての役割: 言語的監視の下層において、不可欠な技術的基盤を提供します。

言語的不可読性がもたらすLLMセキュリティへの影響