**書籍名：** 『機械学習ベンチマークの新興科学』

機械学習はひとつのシンプルなトリックで動き出す：データを訓練セットとテストセットに分割する。訓練セットには何でも入れ、テストセットでモデルを評価し順位付けする。これがベンチマークだ。

機械学習研究者は、ベンチマークの欠点を批判する長い伝統を大切にしている。静的なテストセットと指標は狭い研究目的を促進し、より創造的な科学的探求を抑制すると批評家は主張する。ベンチマークはメトリクスを「ゲーム」させるインセンティブも与え、結果としてスコアが膨らむ。Goodhart の法則は統計量に対して競争しないよう警告するが、ベンチマークはその警告を無視する。時間とともに批評家は研究者がベンチマークデータセットに過剰適合し、アーティファクトを利用したモデルを構築すると語る。その結果、テストセットでの性能はモデル能力の歪んだイメージを描き、人間と機械を比較する際に特に誤解を招く。さらにベンチマークが実世界へ転移しない理由も多々ある。

こうした鋭い批判は倫理的異議とも手を携える。ベンチマークは人、社会関係、文化、社会の表象に偏見を強化・永続させる。また、大規模なヒトアノテーションデータセットの作成は、経済利益から排除されたマージナライズド労働力から労働を抽出する。

これら全てが真実である。
多くの人がそれをよく語り、批評家は説得力をもって主張してきた。私は特にベンチマークが産業目標を支え、大手テックラボに構造的優位性を与えているという主張に惹かれる。私の見解では、ベンチマークへの反対は明白だ。

一方で科学的根拠としてのベンチマークはあまり明確ではない。

ベンチマークが分野の進歩を促したという事実は否定できない。ImageNet は2010年代のディープラーニング革命と不可分に結びつき、企業は犬種分類器で熾烈な競争を繰り広げた。ブレンヘム・スパニエルとウェールズ・スプリンガーの違いは真剣な対立の対象となった。10年後、言語モデルベンチマークは人工知能に関するグローバル競争で地政学的意義を帯びた。テクノロジーCEOは株主へのプレゼンで MMLU（大学レベルの多肢選択問題セット）の数値を朗読した。DeepSeek の R1 が OpenAI の o1 をいくつかの難解な推論ベンチマークで上回ったというニュースは、世界株式市場を揺るがせた。

ベンチマークは来たり行ったりするものだが、その中心性は変わっていない。競争的リーダーボード上昇こそが機械学習の進歩の主な手段だった。
人工知能の進歩が実在すると受け入れれば、ベンチマークもある意味で「働いた」と言える。しかしベンチマークが「働いた」という事実は、科学的教訓よりも後知恵に過ぎない。ベンチマークはパターン認識の初期に登場した。科学原理に従っていなかった。もし何らかの理論的支持があったとしても、その理論は実際に人々がベンチマークを使用する方法で容易に否定された。統計学ではテストセットを金庫に閉じ込めることを推奨したが、機械学習実務者は逆行し、インターネット上で自由に利用できるようにした。人気のベンチマークは数百万ダウンロードと評価を集め、モデル構築者がより良い数値を求めて段階的に競争する。

ベンチマークは機械学習を生み出したミスだ。働くべきではなかったのに、実際に働いた。今回本書で私が目指すのは、ベンチマークがどうして働くのか、その目的を明らかにすることである。

---

概要

本書の前半は基礎―数学的側面と経験的側面―をカバーする。序章後の最初の2章では、自己完結できるほど十分な標準背景知識を提供する。ここでは典型的な教科書に沿って進める。

次の数章で訓練/テスト分割（ホールドアウト法）を扱う。クラシックな保証とクロスバリデーションファミリーの関連ツールから始める。しかしこれらの保証は実務上の使用方法に適用できない。問題は「適応性」である：繰り返し利用するとモデルとデータ間でフィードバックループが生まれ、従来の解析を無効化する。この「適応性」の問題は Freedman の逆説（1980年代から統計学者を悩ませているジレンマ）の姉妹である。Freedman はデータ依存型統計分析がどれだけ簡単に誤りを起こすかを指摘した。

Freedman の観察は統計科学の継続的な危機を予見した。再現性が限られ、偽陽性が多いことは、研究者が p 値などの統計に基づいて競争するときによくある。だが p 値自体が主因ではない。研究者の自由度は常に統計測定を凌駕するようである。本当に Goodhart の法則は、競争圧力下で統計的測定が崩壊すると予言している。ベンチマーク環境—固定テストセット上の統計値で競う―では何と言えるだろうか？

機械学習にも危機の前提条件は存在する。一方、他の経験科学と同様に統計測定の Achilles の蹄を共有しつつ、最大限の研究者自由度、迅速な出版、弱い査読というエコシステムで動作している。絶対的精度数値は（能力測定として捉えられる）極めて信頼できず、似た条件下でも再現性が失われることが多い。それにも関わらず機械学習の状況は顕著に異なる。モデルランキングは驚くほど再現可能である。

ImageNet 時代から得られる3つの経験的事実：

1. モデル精度や他指標は、データセットが似ていても別のデータセットでは再現されない。
2. それに対し、モデルランキングは同様条件下で確実に再現する。
3. さらに一歩進めると、モデルランキングは外部妥当性を示す―異なる条件でも再現が観測される。

機械学習が科学的危機を打ち破ったように見えるなら、その理由は何か。私はコミュニティの社会規範と慣行、単なる統計手法以上にベンチマークの機能を理解する鍵だと主張する。根本的な結果として、コミュニティが「いつでも最高性能モデルを特定する」ことだけを重視すれば、ホールドアウト法は驚くほど強力な理論保証を持つことが示される。

まとめると：モデルランキング―評価ではなく―が機械学習ベンチマークの主たる科学的輸出物である。

前半は主に ImageNet 時代（2012 年以降約10年）の教訓を引き継ぐ。そこでは単一の中心ベンチマークが訓練セットとテストセットの両方を備えていた。その創設者はラベル集計によってラベルを徹底的に洗練させた。データラベリング・アノテーション章では、モデルランキングが主目的の場合に一般的なラベルクリーニング手法が非効率である理由を示す。

第二部（第10章から）は最近の生成モデル、とりわけ大型言語モデルについて扱う。大規模言語モデルの基礎、スケーリング則、新たに現れる能力、ポストトレーニング手法―これらを網羅し、今日のベンチマーク課題を理解するために必要である。

---

新時代は旧時代と大きく異なる点

1. 訓練データ
   モデルはインターネット（少なくとも膨大かつ最小限精製されたウェブクローラ）上で学習する。評価時にはモデルが何を見たか分からず制御できない。この事実はベンチマークに深い影響を与える。テストタスクと似たデータを訓練中にどれだけ経験したかが、モデル比較を歪め、ランキングの妥当性を脅かす。悪いモデルが単に「テストに向けてよく詰め込んだ」可能性もある。より準備された学生と、より準備不足だった優秀な学生――どちらを好む？後者を望むならテスト準備の差を調整する必要がある。幸いにも、各モデルを同じタスク固有データで微調整すれば、再訓練せずに済む。

2. マルチタスクベンチマーク
   モデルはもはや単一タスクのみ解くわけではなく、ほぼあらゆるタスクをプロンプトで挑戦できる。これに応じて、複数タスクを統合した評価指標がデファクトスタンダードとなり、最近のモデルを総合的に評価するために多くのタスク性能を一つのランキングへ集約している。しかし集約は社会選択理論上の難題であり、完璧な解決策はない。マルチタスクベンチマークと投票システムとの類推から、タスク多様性が高まるほど無関係な変化への感度も高くなるというトレードオフを示す。弱いモデルを加えるだけでトップ候補者の順位が変わる可能性がある。ImageNet 時代に特徴づけられたモデルランキングの安定性は、LLM 時代のマルチタスクベンチマークには当てはまらない。

3. パフォーマティビティ
   ImageNet の画像分類器とは異なり、チャットボットは全世界で数億人と対話する。AI デプロイメントの大規模リーチは評価に影響を与える。モデルがスケールアップすると常に将来データに影響を及ぼす―これがパフォーマティビティだ。パフォーマティビティは評価を難しくし、モデル独立的なデータという概念を崩す。真偽の概念が消滅する。パフォーマティビティ研究は、多くの人が機械学習エコシステムにとって根本的リスクだと見るデータフィードバックループ問題を明らかにする。動的ベンチマークは、モデルが改善するとともに進化するベンチマークを作り出すことで、データフィードバックループを善へ転じる試みである。

4. モデルによる判断
   ベンチマークの最終的な問題は実存的だ。モデル能力が人間評価者を超えると、新しいモデルをテストする手段が尽きる。モデル同士で評価し合う可能性はあるものの、LLM ジャッジは自らに偏っている。最近のデバイアス手法は、人間真偽ラベル数が少ない状態でもモデル予測をデバイスすることを約束するが、評価最前線――新しいモデルがジャッジと同等かそれ以上の場合――では最適なデバイス方法さえも二倍の真偽ラベル収集より劣る。

---

ベンチマークの未来

危機の瞬間に私たちは加速する傾向がある。もし逆に一歩引いて、ベンチマークが当初「働く」と期待した理由と目的を問うなら？長い間コミュニティはベンチマークを当然視し、その背後の手法を明らかにしなかった。多くは運が良かったが、LLM 評価で示された危機は今回も同じくらい幸運ではないかもしれない。

本書は、機械学習ベンチマークの科学的基盤構築を始めた研究群を網羅する。そこから生まれる豊かな理論と経験的観察は、今後の実務に影響を与えるべきだ。多くの重要なオープン問題がコミュニティの注意を必要としている。ベンチマークが将来も私たちに役立つならば、確固たる科学的土台を築かなければならない。

---

本書の対象読者

既存教科書は代表表現・最適化・一般化という三本柱に重点を置く。ベンチマークはこれらと同等に機械学習エコシステムを動かす不可欠なテーマである。本書は、ベンチマークについて学びたい学生や研究者向けであり、自己学習にも適している。上位学部レベルの確率論・統計学的訓練が必要だが、より広い読者は一部数学を省いても物語全体から多くを得られる。

講師はこの本を好みの教科書と並べてカリキュラムに組み込むことができる。私はこの資料をベースに2度1学期コースを開講し、各章を90分レクチャーに相当させた。完全な課題セット（Pythonでのコード・データ作業・実験）はオンラインで提供予定。

---

著者について

機械学習ベンチマークへの関心は 2013 年秋、シモンズ研究所での協働から始まった。これが適応的データ分析―データ依存統計解析の課題を扱う理論分野―の発展に繋がった。Cynthia Dwork、Vitaly Feldman、Toni Pitassi、Omer Reingold、Aaron Roth、Jon Ullman などと協働し、このテーマへの思考を形成した。Avrim Blum は適応的データ分析と機械学習ベンチマークを結びつけ、「最高性能モデルの特定のみが目的ならデータセット再利用はそれほど心配でない」と仮説を立てた。私たちはこの仮説を形式化し証明した―本書の章の一部を構成する結果だ。

NeurIPS 2021 のパネル「機械学習の科学的進歩におけるベンチマークの役割」をモデレート。Lora Aroyo、Sam Bowman、Isabelle Guyon、Joaquin Vanschoren が貴重な視点を提供し、私に影響を与えた。Sanjeev Arora、Sham Kakade、Ben Recht（パターン・予測・行動）、Ludwig Schmidt（データ頑健性と分布シフト）などとの対話も恩恵となった。第二部は Rediet Abebe、Nikhil Chandak、Ricardo Domínguez‑Olmedo、Florian Dorner、Vivian Nastl、Celestine Mendler‑Dünner、Olawale Salaudeen、Ali Shirali、Jiduan Wu、Guanhua Zhang といった最新協力者の成果を多く取り入れた。

Solon Barocas、Nikhil Chandak、Florian Dorner、Ricardo Domínguez‑Olmedo、Jakob Förster、Clémentine Fourrier、Reinhard Heckel、Celestine Mendler‑Dünner、Vivian Nastl、Joaquin Vanschoren、Gaël Varoquaux、Laura Weidinger、Bob Williamson、Jiduan Wu、Guanhua Zhang から貴重なコメントを得た。Hallie Stabbins（プリンストン大学出版）に出版に関する助言を受け、匿名査読者の大きな提案もすべて対応した。

Tübingen 大学での「機械学習ベンチマーク」講義（2024 年秋〜25 年春）の参加者や、Nikhil Chandak、Arkadii Bessonov、Ricardo Domínguez‑Olmedo、Shashwat Goel、Luca Morlok、Tom Sühr、Guanhua Zhang の大学院インストラクターの支援もあった。

本書全体を通じて ChatGPT、Claude、Gemini がスペリング・文法・コード・matplotlib・TikZ 図に協力した。