推論と事実の再定義：パラメータ削減時代の到来

推論性能の向上と計算資源効率の高まりが顕著な時代です。GLM-5.2 やQwen3.5など、小型モデルでも高品質な性能を発揮し始めています。従来の「パラメータ数＝知能」という常識は大きく覆りつつあります。

1. ベンチマーク結果の逆転現象

パラメータあたりの推論効率の劇的向上

• GLM-5.2: AIME 2026 テストで約 400 億パラメータをアクティブ化し、得点**99.2%**を記録。
• Qwen3.5: アクティブパラメータは170 億のみだが、得点**91.3%**を達成。
• DeepSeek V4-Flash: さらにコンパクトな130 億パラメータで動作可能。
  • 対比：かつて GPT-4 は推論に約 2,800 億パラメータを必要としていた。
• 効率性: Qwen3.5 の 9 バージョンは VRAM6GB（量子化）で動作可能であり、同規模モデルの中ではスコアがほぼ倍増。

単純な事実想起能力の限界

推論と記憶には明確なトレードオフが存在します。

• SimpleQA ベンチマーク（事実確認のみ、ツール使用禁止）:
  • トップクラスである Gemini 2.5 Proですら得点が**53%**に過ぎず、半数以上の問題を解決できていません。
  • 小規模モデルは事実想起において実質的に機能しないレベルです。
• 人工分析社（Artificial Analysis）の知性指数:
  • Qwen3.5 の40 億・90 億パラメータ版は、ハルシネーション率**80%〜82%**を記録。
  • 「事実を知らない」状態であり、無から適当な嘘（捏造）を作成しています。
    • 例: 19 世紀の数学者の生年に問えば、「説得力のあるが間違っている」回答を返却します。

研究チームの見解: パラメータ削減は単なる最適化ではなく、「知識容量」と「推論能力」の間での意図的な設計上のトレードオフです。

2. 事実はスペースを必要とする

パラメータの物理的役割

• 知識密度: 「言語モデルの物理学」などの研究によれば、1 つのパラメータ当たり約2 ビット分の事実知識を持つオーダーです。
• 学習の代償: 「すべてのウィキペディア人物の生年」「各地域の人口」「npm パッケージの関数順序」など膨大な事実を記憶するには、その分のパラメータ（重み）が必要になります。
• 現状: これがトリアリオン規模のパラメータを持つフロンティアモデルが主流だった大きな理由です。

推論は圧縮可能だが、知識はそうではない

• 推論の性質: 「問題分解」「中間状態追跡」「自己検証」「バグ修正」などの限られた手順を反復適用するだけであり、圧縮しやすいです。
  • ディシテーションや強化学習により、小規模モデルへの転移も容易です（例：Phi-4 の数学的優位性）。
• 知識の性質: 事実情報はスペースを必要とします。削ぎ落とすと即座に性能低下が生じます。

モデルの形状：汎用主義者としての限界

残存する知識には明確な形状があります。モデルは**「幅広だが浅い」**存在になります。

• 理解できる: PostgreSQL の概要、長所、MVCC の仕組みなど。
• 捏造する: 「特定のプランナー機能が追加されたバージョン」のような詳細な事実を問うと、再び嘘をつく。
• 結論: 「幅広さ」こそが質問の本質理解や検索対象の特定を支えるため、「深み」はコストが高く削ぎ落とすのが最適解です。

3. 事実は腐敗するが、手順は永続的

知識（事実）の有効期限

• 陳腐化: トレーニング完了直後から事実情報は老化し始めます。
  • ライブラリ API の変更や価格変動など、世界状態は常に変化します。
  • 2024 年リリースのモデルが持っていた情報の半分は、すでに時代遅れになっています。
• 更新コスト: 「重みに焼き付けた事実」を更新するには、高価で時間のかかる再トレーニングが必要不可欠です。

手順（プロシージャ）の永続性

• 不滅性: 代数やロジックは時代を超えて機能します。「問題を分解する」という手法自体は腐りません。
• 利点: 手順重視のアプローチは、知識ベースが老化していくというリスクから免れます。
  • トレーニングの cutoff（最新知識期）への依存度が大幅に低下します。
  • 「常に変化する世界」と「静的な推論能力」を分離できる点が最大の強みです。

4. 知識を支えるのはフレイム（ハーネス）

モデル内部に事実を持たせない場合、代わりに外部の**「ハーネス」**が必要です。

• 構成要素: 検索エンジン、ツールコール、ウェブ検索、ファイルシステムなど。
• Rust エージェントへの言及: Rust は低コストなフィードバック源として機能しますが、同じ構造を持つ別のアプローチです。

エージェントによるオンデマンド知能の事例

• コーディングエージェント:

  • node_modules

    の内容や API ドキュメントを暗記せず、実行時に検索・読み込みします。
  • 固定のトレーニングデータではなく、実際にインストールされているバージョンに基づいて動作します。
• 転換点: 「想起（記憶）」から「照会（検索）」へのコスト構造の変化です。

5. ローカル環境でのフロンティア品質モデルの実現

テクノロジートレンドと可能性

数年以内に実現すると予測される、消費 GPU でも動作可能な高品質モデルです。

• DeepSeek V4-Flash の役割:
  • アクティブパラメータ130 億（トークンあたり）で推論が可能。
  • この計算資源の半分は既に消費者用 GPU で実現可能です。
• エキスパート層の活用:
  • 残りの巨大なパラメータ数は事実記憶庫として存在していますが、オプション化されています。
  • 知識部分を量子化（4 ビットなど）して切り捨てると、20〜400 億パラメータモデルも 24GB GPU で動作可能になります。

ローカル実行の主な用途

• 特徴: **「ほとんど何も知らない」**状態ですが、これは欠点ではありません。
  • ツールなしで事実確認を問うと「知らない」と答え、検索へ誘導します。
• メリット:
  • 外部データ送信なしでの稼働（プライバシー保護）。
  • トークンあたりのコスト削減。
  • 優れたハーネスとの組み合わせが最大の用途になります。

6. ハルシネーション（捏造）問題の解決策

このアプローチがもたらす最大のメリットはハルシネーションの根本的な解消です。

現在の課題：内部に知識を持つ場合

• 修正困難: 「重み」の中に誤った事実がある場合、検出・是正が極めて困難です。
  • Grep できず、差分比較も不可能。
  • 単一の誤りを修正するにはファインチューニングが必要だが、副作用（何が壊れるか）が分からない。
• 結果: 正解と同じく確信に満ちた口調で嘘をつき続ける。検証用の参照点がない。

解決策：外部に知識を持つ場合

• 検証可能性: 誤った答えには「住所（出典）」があります。
  • モデルがドキュメントを引用すれば、そのソースを確認・編集できます。
  • ソース自体の修正は、即座に次回の回答で反映されます（年単位の再トレーニングを待たずに）。
• データバグとしての認識:
  • 知識ベース内の誤りは「データバグ」として扱い、通常のデバッグや回帰テスト手法で修正可能です。
• 結論: 出典に基づく主張は検証可能であり、重みに由来する主張とは質が異なります。

未来のモデルカード

• cutoff の非表示: 「知識 cutoff（最新知識期）」を記載しないバージョンが登場します。
  • 理由：内部に残る事実は週単位ではなく年単位の尺度で陳腐化するため、実行時に世界の現在状態（CPU がコードを受け取るように）のみを受け取るモデルが主流になるでしょう。