機械学習におけるガウス過程（GP）と核関数の直観的理解

チーズを投入してゴールドを得るメカニズムを探索し、有限の資源の中で最大の利益を出す方法を模索することを考えましょう。このプロセスはランダムではない一定のルールによって支配されており、その関係式 $G = f(C)$ を解明することが目標です。

モデリングの本質：近似と不確かさ

真のプロセス（機械の中身）を完全には知らず、無限のリソースも持てないという制約下では、全ての出力を観察できません。そこで限られたデータから近似モデルを構築します。

• モデルとは: 入力と出力の関係を説明するための「別のものの近似」です。
• ガウス過程（GP）: 機械学習における「モデリング」手法の一つです。観測データを蓄積するにつれ、推測する関数の形状がデータに適合し、真のプロセスを追跡していく性質を持ちます。
• 期待値と不確かさ:
  • 最適モデル: 全ての合理的な推測の平均（期待）となります。
  • 不確かさ: 推測間のばらつき（散らばり）を計算することで定量化できます。
    • 不確かさが大きい場合: 推測同士が大きく異なり、平均値への信頼性が低いことを示唆します。
    • 不確かさが小さい場合: 推測間で差が少なく、平均値に高い信頼を持つことができます。

GP は以下の形式で記述されます： $$ GP(m(x), k(x,x')) $$

• $m(x)$: 平均関数
• $k(x,x')$: 共分散（コーバリアンス）関数

核関数（Kernel Function）は、二つの点がどの程度相関し合うべきか、あるいは類似度を計算する役割を担います。これはパラメトリックではなく、固定化されたパラメータ集合を仮定せず、核関数の調整だけでデータ特性に合わせてモデルを柔軟に変更できるのが特徴です。

核関数（Kernel Function）の基礎

核関数は、マージン学習や SVM などで使われる概念で、データを高次元空間へ変換し、複雑な非線形関係を計算効率よく分析するツールです。GP における共分散関数 $k(x, x') = \text{Cov}(f(x), f(x'))$ は、類似度の尺度としても機能します。

• ドメイン知識の活用: データセットの形状やパターンを理解し、適切な核関数を選択することで訓練を効率化できます。
• 複合関数の構築: 核関数を足したり掛けたりして複雑な表現に適応させるバイアスを与えることができます。

---

代表的な核関数と可視化

1. 線形核関数 (Linear Kernel Function)

関数が直線的なトレンドで説明できると仮定するシンプルなモデルです。類似度はベクトルの内積で測定されます。

• 数学的定義: $$ k(x, x') = x^\top x' $$
• 特性:
  • 事前分布からサンプリングされる関数はすべて単純な直線になります。
  • コバリアンスヒートマップでは、近い点ほど明るい色（強い相関）で表現されます。

2. 周期性核関数 (Periodic Kernel)

時間や季節などで周期的に変化するデータをモデル化する際に有効です（正式名称：Exp-Sine-Squared Kernel）。

• 数学的定義: $$ k(x, x') = \exp\left(-\frac{2\sin^2(\pi d(x, x')/p)}{l^2}\right) $$
  • $p$: 周期性（周期）
  • $l$: 長尺スケール（length scale）
  • $d(., .)$: ユークリッド距離
• 特性:
  • 正弦波のような周期的なパターンを繰り返す関数を生成します。

3. 複合核関数 (Composites of Kernels)

異なる核関数の特性を同時に活用するために、線形核と周期核を組み合わせたものがあります。

結合方法	定義上の操作	効果と特徴
加算 (Add)	$k_{add}(x, x') = k_1 + k_2$	データを「複数のパターンの和」として説明。直線的なトレンドの中にわずかな周期性が見られる。
乗算 (Multiply)	$k_{mul}(x, x') = k_1 \times k_2$	すべてのパターンが一度に適用される。周期的な効果が特に顕著になる。

4. ラジアル・ベースス・ファンクション（RBF）核関数

SVM などにおいて最も広く使われる、人気のある標準的な核関数です。

• 数学的定義: $$ k(x, x') = \exp\left(-\frac{d(x,x')^2}{2\ell^2}\right) $$
  • $l$ ($\ell$): 長尺スケール（変化の緩やかさを決定）
  • $d(., .)$: ユークリッド距離
• 特性:
  • 推移的 (Stationary): 類似度は距離の絶対値に基づき、絶対位置に依存しません。
  • 距離が 0 のとき類似度は最大 ($1$)、無限遠では $0$ に近づきます。
  • ヒートマップ上で近い点は同じ色（高い類似度）を共有します。
  • $l$ が小さいと微小な変化に敏感になり、大きいと変化が緩やかになります。

5. 有理平方核関数 (Rational Quadratic Kernel)

RBF と似ていますが、データが必ずしも滑らかではないケースに対応できます。

• 数学的定義: $$ k(x,x') = \left(1 + \frac{d(x,x')^2}{2\alpha \ell^2}\right)^{-\alpha} $$
• 特性:
  • 異なる長尺スケール $l$ を持つ RBF 核関数の無限和として定義されます。
  • パラメータ $\alpha$ が RBF のミクスチャー（混合）の重みを調整し、複数のスケールでの変化を捉えます。

6. マテーン核関数 (Matérn Kernel)

RBF の一般化版で、関数の滑らかさを制御するパラメータ $\nu$ を持っています。

• 数学的定義: $$ k(x,x') = \frac{1}{\Gamma(\nu)2^{\nu-1}}\left(\frac{\sqrt{2\nu}}{l} d(x,x')\right)^\nu K_\nu\left(\frac{\sqrt{2\nu}}{l} d(x,x')\right) $$
  • $\nu$: 滑らかさを制御するパラメータ。
  • $K_\nu$: 第二種修正ベッセル関数。
• 特性:
  • $\nu$ が小さい場合：鋭敏で急激に変化する関数（非滑らか）。
  • $\nu$ が大きい場合：滑らかな関数。
  • $\lim_{\nu \to \infty}$ で RBF 核関数へ収束します。

7. より複雑な複合関数 (More complex composites)

加算や乗算の演算子を組み合わせることで、さらに高度な表現力を発揮できます。異なる核関数を重ね合わせることで、 Sampling された関数の滑らかさや形状を意図的に設計可能です。

---

まとめと実践

本稿では、ガウス過程（GP）において核関数の選択がモデルの誘発バイアス（inductive bias）、つまり事前分布の形状を決めると直観的に理解しました。

• 適切な核関数を選択・組み合わせることで、特定のデータセットに最適化されたモデルを構築できます。
• 滑らかさ、周期性、複数のスケールなど、データの性質に合わせて核関数を調整することが可能です。

これらの理論と可視化はすべてオープンソースコードで再現可能です。

• コードリポジトリ: 以下の Colab ノートブック に、すべての可視化作業を行うコードを格納しています。
  • ※ノートブックは自由に開いてください。
  • お試しで新しい複合核関数の可視化を試したり、独自の発見をしたりすることを推奨します。

より深いつながりを見つけましょう！