チョムスキーと統計的言語モデル：なぜ「成功」は科学の尺度なのか

MIT 創立 150 周年記念行事（2011 年）の際に開催された国際シンポジウム「Brain, Minds, and Machines」において、Technology Review はノアム・チョムスキー教授が機械学習分野の研究家を批判したと報じています。 その核心は以下の点です：

• 純粋な統計的手法を用いて世界の現象を模倣する振る舞いは生成できる。
• しかし、それらの行為の意味を理解しようとしていない。

トランスクリプトが入手可能なため、ここではチョムスキー自身の発言から引用し、スティーブン・ピンカーとの議論に対する反駁として、以下の問いに答えていきます：

1. チョムスキーの主張は正しいか？
2. 統計的モデルとは何か？
3. 統計的言語モデルの成功度合いはどうか？
4. 科学史上、『近似による成功』のような概念は存在するか？
5. チョムスキーが統計的モデルを嫌う理由は何か？

---

1. チョムスキーが何を意味し、彼は正しいのか？

チョムスキーの指摘内容は以下の 5 点に集約されます：

1. 工学的成功は科学とは無関係：統計的言語モデルは実用的（工学的）に成功していても、それは科学的ではありません。
2. 蝶採集（标本収集）：言語的事実を正確にモデル化することは単なる「データ収集」に過ぎず、科学は背景にある原理のみを重視するべきです。
3. 理解不能：統計的モデルは不透明であり、洞察を与えません。
4. シミュレーションの誤り：現象をシミュレートできても、その仕方は間違っています。文書の次単語決定には確率表ではなく、「内面的な意味表現」から「構文木構造」へのマッピングが必要です。
5. 先天的能力の証明：統計的モデルが言語学習に不向きであるため、言語は必然的に**先天的（innate）**であると結論づけるべきです。

これらは正しいのか？

私の簡潔な回答は以下の通りです：

1. 工学的成功と科学の関係

   • 同意する点：工学的成功こそが科学の唯一の目的や尺度ではない。
   • しかし、工学と科学は相互に発展します。工学上の成功は「機能の正常化」を示す証拠であり、科学的に有効なモデルを示す根拠（証明ではありません）となります。科学は「事象の収集」と「理論構築」の両輪で進歩します。

2. 数十億パラメータを持つモデルの理解

   • 各パラメータをチェックするのは困難ですが、モデル全体の特性（学習性能の変化など）を検証することで洞察は得られます。

3. マルコフ過程だけでは不十分だが、確率を排してはいけない

   • シンプルな確率モデルでは言語全体を記述できませんが、それを否定する簡潔な構文木構造モデルも不可能です。
   • 必要なものは「語・構文・意味・文脈」などを網羅する確率的モデルです。
   • チョムスキーは 50 年前の特定のモデルの短所を理由に、すべての確率モデルを見下しています。
   • 解釈タスク（音声認識など）において、「ノイズに満ちた入力に対して何が最も可能性が高いか？」という問いは本質的に確率的です。

4. ゴールドの定理と自然言語学習

   • ゴールドの定理（形式言語理論の限界）は、自然言語学習者の課題とは無関係です。
   • 1969 年以前から、確率的文脈自由文法（PCFG）を用いた推論がそのような制限を受けないことが知られていました。

5. 先天的能力と統計的学習

   • 人間の自然言語学習に先天的な能力があることは否定できません。
   • しかし、その仕組みは必ずしも確率的モデルや統計的学習を必要とするとは限りません。また、それが言語特化なのか一般的な認知能力の一部なのかも未解決です。

---

2. 統計的モデルとは何か？

統計的モデルとは、データポイントの投入によって修正（学習）される数学的モデルのことです。 厳密な用語として以下の区別が必要です：

• 数学的モデル：変数間の関係を規定するもの（例：$y = mx + b$）。
• 確率的モデル：確率変数の値の上確率分布を規定するもの（例：$P(x, y)$）。厳密な決定論的な関係とは異なります。
• 学習済みモデル（Trained Model）：データを入力し、統計的推論を通じて最適なパラメータを選択したモデルです。

具体例による理解

① シャノンのマルコフ連鎖（パラメータ多数の場合）

• 10 万語の語彙を持つ 2 階マルコフモデルでは、必要な確率値が $10^{15}$ に達します。
• これらを学習する唯一の実用的な方法は、データからの統計を集計し**平滑化（smoothing）**を導入することです。

② ニュートンの万有引力（決定論的だが「学習済み」の場合）

• 式：$F = G \times m_1 \times m_2 / r^2$
• 定数 $G$ は実験結果から統計推論で決定されるため、「学習済みモデル」です。しかし関係式は厳密であるため「非確率的」でもあります。

③ 理想気体法則（不確実なモデル）

• 式：$P = N \times k \times T / V$
• これは統計力学の道具を使って第一原理から導出されますが、個々の分子の動きを記述せず、複雑さを要約しているため不完全なモデルです。それでも洞察を与え、優れた予測を行います。

④ 「I before E except after C」ルール vs 確率的モデル

• ルール：「C が続く場合を除いて I は E の前に置く」
• 確率的学習済みモデル（兆語規模のコーパスデータ）に基づく結果：
  • $P(\text{IE}) = 0.0177$
  • $P(\text{CIE}) = 0.0014$
  • $P(\text{*IE}) = 0.163$ （C に続く場合も含む）
  • $P(\text{EI}) = 0.0046$
• 精度比較：
  • ルールのみでの精度：約 79%
  • 例外ルールを加えた精度：約 75%
  • より複雑な統計モデルでは 10 倍も正確になりますが、単なる「綴りのルール」としては簡潔な洞察を提供しません。

⑤ 「最高裁判所握手理論」

• 判事数 $n$ と握手回数 $h$ の関係を表すには、A（乗算式）、B（和の式）、C（表）など複数の説明が可能です。
• これらは全て同じ理論（$n$ から $h$ への関数）を記述しています。
• A や B を好むのは、理論そのもの以外の理由（計算の手軽さなど）によるだけです。

---

3. 統計的言語モデルはどの程度成功しているか？

チョムスキーは「限定された成功しか達成していない」と主張しましたが、実態は異なります。

メインな応用分野での支配的地位

• 検索エンジン：主要プレイヤーの 100% が学習済みかつ確率的モデルを採用。
• 音声認識：主要システムの 100% が確率的（主に HMM）アプローチを使用。
• 機械翻訳：NIST コンペなどのトップ層は統計的手法を使用。日英以外の言語ペアでは圧倒的に優れています。
• 質問応答：IBM Watson など、多くのシステムが統計的アプローチを大きく依存。

計算言語学のコンポーネントでの性能

• 単語の意味曖昧性解決：トップ層の 100% が統計技術を使用。
• 同指解決：統計的モデルまたはハイブリッドシステムで dominant。
• 品詞タグ付け：大部分が統計的（ブリルタグガーは成功したハイブリッド例）。
• 構文解析：最も成功したのは統計的であり、多くは確率的。

研究者共同体の受容

スティーブ・アビニーによると、統計的手法は「事実上未知から基本的事実へと変化」し、ACL（計算言語学会）での発言必須技術となっています。 また、経済的な成功も明確な指標です：

• シャノン理論系：兆ドル規模の収益。
• チョムスキー理論系：10 億ドル未満。

統計的モデルを使用するのは工学的理由（最先端のパフォーマンス）であり、多くの場合非統計的モデルの方が性能が悪いためです。

---

4. 科学史上に似たもの（統計的成功の概念）はあるか？

チョムスキーは「『世界を正確にモデル化する』という成功観は画期的で、科学史例がない」と主張しました。しかしこれは誤りです。

『Science』誌の事例分析

ランダムに選んだ記事や全ての題名（裂殖酵母ゲノミクス、ナノスケール超伝導など）を眺める限り：

• 多くの記事は**「世界を正確にモデル化する」**ことに焦点が当てられています。
• 「洞察の提供」よりも、「具体的な実験とその結果（例：効率 54%）」を報告するものが主流です。

ノーベル賞の事例（2010 年）

• 物理学：グラフェンの画期的な実験（正確なモデル化）。
• 化学：パラジウム触媒による架橋反応（現象の再現）。
• 医学：体外受精の開発（実用的成果）。

これらもまた、「洞察」とは異なる「事実の記述」や「正確なモデル化」を重視しています。 科学史において、**「観察」と「直観（理論）」**の両方が使用されてきており、どちらかが画期的というわけではありません。観察こそが科学における支配的なモデルです。

---

5. チョムスキーが統計的モデルのどこを嫌うのか？

「文句の確率」の批判への反駁

チョムスキーは「新規的文句の確率は零でなければならない」と主張し、新規文句生成と矛盾すると批判しました。 しかし、現代の確率的モデルでは**平滑化（smoothing）**によって非零の確率を割り当てることが標準であり、この批判は無効です。

「言語全体を扱えない」という批判

有限状態マルコフ連鎖は確かに「ever ever ever...」のように無限に繰り返す文法則則を記述できません。 しかし、これ以外の**確率的文脈自由文法（PCFG）**や、木構造を活用するモデルは：

• 非連鎖の有限状態モデルの制限を持たない。
• カテゴリや個々の語彙を超えて動作する。
• 解析性能で最先端であり、データから学習しやすい。

「正確な記述」か「洞察」か？

チョムスキーは「正確な記述」よりも「洞察（なぜそうなるか）」を重視すると考えます。しかし：

• ダーウィン：誤った事実であっても証拠によって支えられていれば害は少ない。
• ファインマン：証明なしに進歩できるが、事実なしには進めない。
• ミルリカン：科学は理論と実験という 2 つの足で進む。

チョムスキーは「蝶採集（観察）」と「説明的原理（洞察）」を混同すべきではないと言いましたが、両者は車の両輪です。

「二つの文化」：ブレイマンの提言

レオ・ブレイマンは統計学者の間で以下の 2 つの文化に分かれていると指摘しました：

1. データモデリング文化（98%）：自然界をブラックボックスとし、背後モデルとパラメータ推定に焦点。
   • チョムスキーの支持する分野に近いかもしれません。
2. アルゴリズミックモデリング文化（2%）：複雑な関数を記述し、解釈はしなくてもよい。
   • ここがチョムスキーが最も嫌う点です。「何が起きているか」を記述するが、「なぜ」には答えないという立場です。

形式主義と実証科学

チョムスキーは言語学を実証科学（人々の実際の行動）にするのを嫌い、数学科学（形式的な性質）を好みます。

• 「観測された言語使用……は証拠を提供しうるが、もしこれが真の分野であれば、言語学の主題事項とはなり得ない。」
• これはプラトン主義的です。「現実世界の言語」よりも「理想的形式（コンピテンス）」に焦点を当てています。

しかし、言語は：

• 複雑でランダムで偶然性に支配される生物学的プロセス。
• 進化と文化的変化の影響を受けるもの。

であり、「馬の理想像」のように不変のものではありません。そのため、確率モデルでの記述が必須です。

---

6. プラトンの洞窟：なぜ観察を拒否するのか？

チョムスキーは「言語の観測」を言語学の主題から外すことができますか？それは彼をプラトン主義者と見せます。

• 理想的世界：言語の下にある抽象的な形式に焦点。
• 現実の世界：知覚できる表面的な現れには関心なし。

しかし、現代では：

• 「馬」は種として不変ではなく進化し続けています。
• 言語も同様で、少数のパラメータで定義される理想形式など存在しません。

言語を人々の頭脳に導入するには、神秘的な「生物学的資質」が必要ですが、これは数学的観点からは興味深くても、言語の本質を見落としている可能性があります。

---

参考文献リスト

• アビニー（1996） 『統計的方法と言語学』
  • 計算言語学における統計アプローチの導入に優れる。
• ブレイマン（2001） 『統計的モデル化：二つの文化』
  • データモデリングとアルゴリズミックな両方の視点からの議論。
• チョムスキー（1956, 1967, 1969, 1981, 1991） 『言語記述のための三つのモデル』『構文構造』など
  • 有限状態、構文構造、変換文法に関する理論および批判。
• ゴールド（1967） 『限界における言語同定』
  • 形式言語理論の限界を示す定理。
• ホーニング（1969） 『文法推論の研究』
  • ゴールドの定理を補完する確率的アプローチの提示。
• ノルヴィグ（2007, 2009） 『綴り訂正器の書き方』『自然言語コーパスデータ』
  • 確率的アルゴリズムの実装と応用。
• マンニング（2002） 『確率的文法』
  • カテゴリー的文法よりも確率的モデルの優位性。
• プラトン 『国家』
  • 洞窟の寓話における理想世界と現実世界の区別。
• シャノン（1948） 『通信の数学的理論』
  • 情報理論の基礎となる画期的な論文。