**混乱しがちなデータサイエンティストのためのベイズ統計学** * ベイズ思考への入門 - フリクエント主義手法との違いは何か - ベイズアプローチを選択すべき場面 * コア概念 - 事前分布（Prior）、尤度（Likelihood）、事後分布（Posterior） - 新しいデータで信念を更新する方法 * 実践的実装 - Python / R の簡単なコードスニペット - よくある落とし穴とその回避策 * ケーススタディ - ベイズモデルで解決した実世界の課題 - ステークホルダー向けの結果解釈 * 深掘り学習へのリソース - 代表的な教科書、オンラインコース、コミュニティ - ベイズ解析を簡易化するツールとライブラリ

ベイズ統計に再び足を踏み入れた第三回目

私は何度も「ベイズのウサギの穴」に落ちてきました。いつも同じ流れで、まずはクールな記事を見つけてしまい、その内容がまるで魔法のように感じられる。書いている人は頻度主義（Frequentism）よりもずっと優れているとほこり気味に語ってくるので、私はそれを責めません。しかし結局、何が起きているのか分からないまま終わってしまうのです。この記事は、その不安を整理し、自分自身で理解を深めるためのカタルシス的試みです。また、同じように悩んでいる読者の方々にも役立つことを願っています。

---

ベイズ vs. 頻度主義：対立の物語

統計学のカリキュラムでは頻度主義が支配しており、「統計」と聞けばそれだけです。ベイズ的アプローチは少数派で、深く愛されるのはたった一部に限られます—まるで統計学のハスケル（Haskell）みたいなものです。

本質的には、ベイズと頻度主義の違いは「確率」がフレームワーク内でどのように扱われるかにあります。両者ともパラメータ（未知量）とデータ（観測値）を扱います。

例：サイコロを何度も振る場合

• パラメータ：面数 (n)
• データ：実際に観測した目

ゲームマスターがサイコロをカーテンの裏で振っていると、あなたは面数が分からず、ただ「これはサイコロで、どんな値が出たか」だけしか知りません。

頻度主義者なら：(n) は固定（ただし未知）で、データは一様分布 (X \sim \mathcal{U}(n)) から引かれると考えます。
ベイズ派は (n) を自らの事前分布 (P(n)) を持つ確率変数として扱い、データが観測されることでそれを更新（後方分布）します。

主な違い：頻度主義では不確実性はあくまで「あとから」考慮されます—信頼区間は「このように構築した区間が真のパラメータを含む回数」を表します。対してベイズ統計ではパラメータ自体に分布があり、信用区間（Credible Interval）はそのパラメータが区間内にある確率を直接反映します。

---

実務でのベイズ定理

[ P(\theta|X) = \frac{P(X|\theta),P(\theta)}{P(X)} ]

• (P(X|\theta))：尤度（パラメータが与えられたときにデータが起こる確率）
• (P(\theta))：事前分布（パラメータ値への直感）
• (P(X))：正規化定数

後方分布 (P(\theta|X)) は、データを観測した後のパラメータの分布です。これから以下が計算できます。

1. モデルパラメータの不確実性
2. 事後予測分布
   [ P(Y|X)=\int P(Y|\theta),P(\theta|X),d\theta ]

---

サイコロ振り例

観測値（頻度）:

値	カウント
1	2
2	1
3	2
4	3

頻度主義的アプローチ

• 尤度
  [ P(X|n) = \left(\frac{1}{n}\right)^8 ] 最大化されるのは (n) が最小（ここでは (n=4)）ときです。

• 信頼区間：
  [ P(X_{\max}\leq 4 | n)\geq \alpha/2 ]
  ただし (\alpha = 0.05)。結果は ([4,6])。

ベイズ的アプローチ

• 大きな (N) に対して一様事前分布 (P(n)=1/N) を仮定。

• 後方分布：
  [ P(n|X)\propto n^{-k}\quad(k=8) ] ヒュルツ＝ゼータ関数で正規化。

• MAP（最大事後確率）： (n_{\text{MAP}} = 4)。

• 平均値： (\bar{n} \approx 4.26)。

• 信用区間（95 %）： ([4,5])。

より情報量の多い事前分布、例えば幾何分布 (n \sim 3 + \text{Geom}(q)) （(q=0.5)）を採用すると、後方平均は 4 に近づき（(\bar{n}\approx 4.10)）、信用区間は同じまま不確実性が減少します。

import pymc as pm
import numpy as np
import arviz as az

observations = np.array([1, 1, 2, 3, 3, 4, 4, 4])
k = len(observations)
x_max = int(observations.max())

with pm.Model() as model:
    excess = pm.Geometric("excess", p=0.5) - 1
    n = pm.Deterministic("n", excess + x_max)
    pm.Potential("likelihood", -k * pm.math.log(n))
    trace = pm.sample(10000, tune=2000, chains=4)

posterior_n = trace.posterior["n"].values.flatten()
hdi = az.hdi(trace, var_names=["n"], hdi_prob=0.95)
print(f"Posterior mean: {posterior_n.mean():.2f}")
print(f"95% HDI: {hdi['n'].values}")

---

TL;DR

• 頻度主義者はパラメータを固定、データをランダムとみなす。
• ベイズ派は逆にパラメータを確率変数として扱い、事前分布で表しデータによって更新する。
• ベイズ法は後方分布と信用区間を通じて不確実性を自然に組み込む。

---

実務におけるベイズ統計

小売企業の販売注文数を合成生成するとき、頻度主義的手法では過去データから (\text{郵便番号}|\text{カテゴリ}) の確率を推定しますが、新規カテゴリやデータが乏しい場合は不安定になります。

ベイズ的アプローチでは Dirichlet‑Multinomial などの尤度と、人口分布に基づく事前分布を組み合わせることで、新しい地域でも頑健に推定できます。事前分布はデータが不足している場合のフォールバックとなります。

---

ベイズ統計における数値手法

解析解が得られない場合、マルコフ連鎖モンテカルロ（MCMC） を用います：

• メトロポリスアルゴリズム：
  [ \text{受理確率} = \min!\left(1,\frac{P(\theta_{t+1}|X)}{P(\theta_t|X)}\right) ] これは後方分布の比（尤度×事前）だけに依存します。

• PyMC は NUTS など高度なサンプラーを実装しています。簡単なメトロポリス実装も可能です。

例：ベイズ線形回帰と外れ値処理

import pymc as pm

with pm.Model() as model:
    # Priors
    a = pm.Normal("a", mu=0, sigma=10)
    b = pm.Normal("b", mu=0, sigma=10)
    sigma = pm.HalfNormal("sigma", sigma=10)

    # Likelihood
    y_obs = pm.Normal("y_obs", mu=a * x + b, sigma=sigma, observed=y)

    trace = pm.sample(1000, tune=1000, chains=4)

外れ値に強いモデルを作る場合は、背景分散と各点の重み (g_i) を持つ混合モデルを導入します。

---

正則化との関係

ガウスまたはラプラス事前分布を用いたベイズ推定は、頻度主義的回帰での L2（リッジ）や L1（ラッソ）正則化に相当します。後方最大化は次式の最小化と等価です：

[ \sum_i \frac{(y_i - a x_i - b)^2}{\sigma^2} + F(\theta) ]

ここで (F(\theta)) は事前分布に対応するペナルティ項です。

---

結論

ベイズ統計は不確実性をモデル化し、事前知識を取り込むための理論的枠組みを提供します。複雑に見えるかもしれませんが、PyMC などの現代ツールを使えば洗練されたモデル構築が容易です。ベイズと頻度主義の選択は、確率をどのように解釈し、どれだけ事前情報を組み込みたいかによって決まります。