**ビリオンドーパラメータ理論**

人類史のほとんどにおいて、説明できないものは「神秘的」と呼ばれてきました。
星の運行、弾道の軌跡、気体の挙動などです。その後数世紀をかけて、人間の探究範囲へ取り込まれ、科学と名付けられました。

振り返ると驚くべきは、その説明がどれほど簡潔だったかということです。
F = ma、E = mc²、PV = nRT。
宇宙―少なくともその大部分―は、ほぼ不合理に思える圧縮率で服従しました。地球上の落下物体すべてを3つの変数で表し、質量とエネルギーの関係を5文字で記述できるのです。最も深い真理が紙一枚に収まります。

それは必要だったのです。道具が鉛筆・黒板・人間の作業記憶だけの場合、理論は小さくなければ使えません。圧縮された情報は脳内でリアルタイムに展開されるため、理論は正確であるだけでなく、人間規模で操作可能でなければなりません。紙に式を書きつづる物理学者が、そのモデルを頭の中で保持しながら帰結を導き出す必要があります。

こうして「良い理論は小さい」という暗黙の信念が生まれました。理論が優雅なら信頼でき、簡潔に表せなければ十分に理解していないとみなされるようになったのです。

これは特定の問題クラス――複雑なもの―には驚くほどうまく機能しました。多くの部品が構造化された方法で相互作用し、最終的には分解に服従するシステムです。ジェットエンジン、軌道力学、ラップトップの基板などが例です。これらを部品ごとに分解し、それぞれを研究してから統合すれば、整合性のある全体像を構築できます。図は複雑でも、原理的には完成可能です。

啓蒙時代とその後継者たちは、複雑さを扱うための強力なツールキットを提供しました。そして私たちは、そのツールがすべてに拡張できると自然に誤解したのです。

---

複合的（Complex）とは

貧困は複雑であり、複雑ではありません。
気候変動、薬物依存症、メンタルヘルス、免疫応答、都市衰退、生態系崩壊、金融市場の挙動も同様です。

これらは次元間の相互作用が自ら動的であるシステムです。フィードバックループが新たな現象を生み出し、個別に部品を研究しても導き出せません。一領域への介入が他領域へ非直感的に波及します。市場や公衆衛生のように、システム自体を観測することでシステムが変化するという「反射性」が働きます。

この違いは何十年も前から知られていました。サンタフェ研究所（Santa Fe Institute）は1984年に設立され、学際的な問題に対処できないと痛感した科学者たちによって創設されました。物理、生物、経済、計算機科学を横断する研究者は、パワー・ロー分布や自己組織臨界性、初期条件への敏感さ、相転移など、複雑システムの共通特徴を特定しました。彼らは語彙と概念群を構築し、理解を深めました。

しかし彼らは壁にぶつかりました。開発した概念は記述的であり、指示的ではありませんでした。「パワー・ロー挙動がある」という知識は、何が起こるかの形状を教えてくれるだけで、具体的な介入方法は示しません。その原則を取り出して世界に精密に介入することはできません。

言語学にも類似点があります。コームズはすべての人間言語が深い再帰構造を共有していると示しました。本当に正しいですが、実際に言語で何かを行うモデルにはほとんど関係ありません。普遍原理は正しかったものの、操作可能ではありませんでした。

複雑系は科学に抵抗し続けましたが、それでも試みられました。経済学は人間市場の物理学になろうとしました。完全に合理的なエージェントと永続平衡を持つ洗練された数式モデルを構築しました。その数学的純度は物理学者も驚嘆し、同時に実際の世界をどこまで表現しているか疑問視されました。

薬理学は身体を複雑な機械として扱い、個々の経路を個別分子で標的化しました。時には素晴らしく働きますが、部分的にしか作用しないことも多く、身体は相互作用の網であり、私たちが描く個別メカニズムの境界を尊重しません。

啓蒙ツールを複雑問題に適用した際には「部分的成功・持続的失敗・何か根本的なものが欠けている」という感覚が漂いました。

---

理論よりも先に実践

科学には古いパターンがあります。まず実践が来るのです。
鍛冶師は金属を扱う技術を長い年月培ってきましたが、金属学という分野自体は存在しませんでした。中世の建築家は構造工学を正式に理解することなくゴシック大聖堂を建てました。農民は遺伝学が生まれる前から選択育種を行ってきました。

それぞれの実務者は、基礎メカニズムについて理論的な理解なしに信頼できる能力を築きました。そして理論がついに追いつくと、それは単なる説明ではなく、新たな扉を開けます。金属学は鍛冶だけでなくチタン合金や半導体の発展へ、構造工学は大聖堂から摩天楼へ進化させました。

私たちは複雑性においても同様の瞬間を迎えています。ディープニューラルネットワークからトランスフォーマーアーキテクチャまでの現代AIツールは、実際に機能する圧縮モデルを構築できるようになりました。我々は「ブラックボックス」的な手法で改善し、直感と実験によって何が効くかを知っています。理由を完全に理解しているわけではありません。

サンタフェ研究所は1980年代後半にこうしたツールの初期プロトタイプを構築しました。適応型エージェントで泡沫やクラッシュを自発的に生み出す人工株式市場、自己組織ネットワークと遺伝的アルゴリズムなどです。しかしモデルは操作可能な規模ではなく、望んだ「自己組織の法則」は実現しませんでした。

---

欠けていた媒介層

それならば今日のモデルがSFIのものよりもうまく機能する理由は何でしょう？
単により良い方程式を見つけたからではありません。必要な理論が極めて大きく、我々はそれを保持できるツールを手に入れたからです。

複雑システムにはエレガントな数式が存在しないかもしれません。最も圧縮された表現であっても、何十億ものパラメータに達する可能性があります――人間の作業記憶では到底保持できないほどです。鉛筆と紙を用いた時代には、これらはただ手の届かない領域でした。

しかし今はそうではありません。大規模言語モデル（LLM）は根本的に極めて複雑なシステム―人間の言語使用全体――を圧縮したものです。圧縮率は驚異的で、モデル自体は表現するシステムよりも遥かに小さくなります。それゆえ、LLMは「理論」として機能します：予測を行い、反事実を試すことができるロスイーだが有用な表現です。

それはTシャツの上に収まる理論ではありません。

---

良い説明には到達性がある

これまで述べた主張には、物理学者・哲学者デビッド・ドイッチからの合理的な反論があります。彼は「良い説明はコンパクトで一般的であり、変化させにくい」と主張します。制約が多ければ悪いとみなされます。E = mc² は普遍的で変えられないため到達性があります。一方実験結果のルックアップテーブルはそうではありません。

この基準で見ると、数十億パラメータを持つニューラルネットワークは「理論」に見えません。特定の複雑システムに対して有用な予測を提供するかもしれませんが、移植可能な理解は得られません。ドイッチは「モデル＝理論」という主張を屈服とみなすでしょう。

この反論はある程度正当です。しかしそれは混同に基づいています。訓練済みモデルと言うとき、我々が指しているのは数十億個の重み―特定データセットから学習した内容を符号化するパラメータ群―です。それらは大規模で局所的です。

しかしアーキテクチャ――学習を可能にした構造自体――は全く別物です。トランスフォーマーのアーキテクチャは数枚の紙に記述できます：注意機構、フィードフォワード層、残差接続、レイヤ正規化など。同じコンパクトな構造を言語で訓練すれば言語を学び、タンパク質構造で訓練すれば折りたたみを学び、気象データで訓練すれば天候を学ぶ。

ドイッチの用語で言えば、アーキテクチャには到達性があります。

したがって理論は二層あると考えられます。システム固有レイヤ―訓練済み重み―は大きく領域に特化しています。メタレイヤ―任意の複雑系を学習できる最小構造―はコンパクトで普遍的です。これこそがドイッチが称賛する良い説明かもしれません。

サンタフェ研究所が期待したものとは異なる「複雑性物理学」がここに現れるでしょう。それは複雑系の振る舞いを記述する法則ではなく、どんな構造がそれらを学習できるかという説明です。

アンドレ・カーパシー（Andrej Karpathy）のnanoGPT研究は実務的にはまさにこの探索です：最小限の実装で依然として複雑現象をモデル化できるようにすること。必要なものだけを残し、残りを取り除くと何が残るのでしょうか？

まだ見つかっていません。トランスフォーマーが最終解ではないかもしれません。しかし初めて、異なる複雑性領域で確実に機能する候補アーキテクチャを得たのです。

---

直観的理解＝複合科学

アーキテクチャはコンパクトでも、訓練済みモデルは膨大かつ不透明です。そこから「有用なオラクルを構築したが、オラクルは科学ではない」という結論に至るのは容易です。

しかし機械的解釈性（mechanistic interpretability）の新興分野は逆説を示します。研究者たちはニューラルネットワークが何をしているかを理解するツール―ネットワークアブレーション、選択的活性化、特徴可視化、回路トレースなど―を開発しています。これらの技術により、訓練済みモデルを生物学者がオルガニズムを研究するように細かく実験・観察できるようになります。

複雑現象を内部でどのように表現しているかを調べることで、その現象自体についてより圧縮された真理を抽出できる可能性があります。たとえば、気候データで訓練されたネットワークが特定変数を予期せぬ方法でクラスタリングするとしたら、それは基盤システムの構造に関する手掛かりになります。

モデルは単なる予測ツールではなく、研究対象となる標本になるのです。この意味で機械的解釈性は実際に「複合科学」の新興科学と言えるでしょう。方法論は啓蒙時代のツールとは異なります。第一原理から式を導くのではなく、複雑系の振る舞いを捉えたモデルを訓練し、そのモデルを調べて何が見つかったかを解明します。

圧縮から理論を抽出する――それはまだ初期段階ですが、有望な方向です。

---

変わったこと

この枠組みが正しいとすれば、人類の最も難しい問題―慢性疾患・依存症、貧困・気候―は本質的に解決不能ではありませんでした。単に当時持っていた理論媒介層（文字や手書きでの圧縮）が複雑すぎて足りなかっただけです。そして今、新たな媒介層が登場しました。

問題は依然として難しいままです。十分に豊かな複雑系モデルを構築するには大規模な取り組みが必要です。認識論も変化します。「因果メカニズムを理解し、Xを変更したら何が起こるか予測できる」ではなく、「十分に豊かなモデルがあれば、確率的信頼度でシミュレーションできる」というレベルへ移行します。答えは分布であり、決定論的な出力ではありません。これもまた異なる知識の形です。

しかしこれは問題が実際に許容する知識かもしれません。

私たちは何世紀も神秘的なシステムを簡潔で優雅な理論に還元できると願ってきました。しかし、実際に複雑系を捉えるモデルは常に大きくなるでしょう。だが、それらすべてを学習可能にする構造は小さく済むかもしれません。少数のシンボルで現実の多くをモデリングできることは驚異的ですが、全てをそう扱えるわけではないという事実自体が特別な意味を持つ必要はありません。