時系列予測：なぜそれが困難なのか？

時系列予測問題は、他のシーケンス学習や IID（独立同一分布）機械学習と比較して、なぜこれほど難しいのかについて考察します。

ベンチマークモデルとデータセットの概要

予測問題の難しさを示すために、代表的なモデル群を用いたベンチマーク実行を行いました。

検討したモデルカテゴリ

• 統計的手法: Naive, AutoARIMA, Theta, MSTL, Seasonal-Naive
• 線形・トランスフォーマー系: DLinear, NLinear, PatchTST
• 勾配ブースティング木: LightGBM
• ゼロショットファウンデーションモデル: Chronos, TimesFM, TTM
• 「AI」LLM（大規模言語モデル）: 数値シーケンスの続報を生成するようにプロンプトした Claude Opus/Haiku

ベンチマークデータセット

• m4_hourly, m4_daily
• etth
• exchange（為替）
• electricity（電力）
• bitcoin（ビットコイン）

注記: 可視化における歴史的データ部分は、予測ウィンドウの長さの 3 倍に切り詰められています。

主要な結果と教訓

ベンチマークスタディからの重要な結論は以下の通りです：

• 強い季節性を持つデータ:
  • 強く安定した季節性を示す時系列（例：m4_hourly）では、単純な統計モデル（Seasonal-Naive, MSTL）およびゼロショットファウンデーションモデルが大幅に優れています。
• 高度なモデルの失敗:
  • 複雑なニューラルネットワークやファウンデーションモデルは、多くのタスクにおいてNaive predictor（単純予測）よりも性能が劣ることがあります。
  • これは、モデルがトレンドを全く異なる方向に学習してしまうことが原因です。

「失敗する」という直感の正しさと限界

• 因果情報の必要性: 為替レートなどの現実世界データにおいて、因果情報が欠けると予測は正確にならないという直感は正しいですが、市場で勝てるだけの情報を特徴量から抽出するのは極めて困難です。
• 古典的 ML の限界: 因果因子に関する完全な情報を持っても、合理的な結果が得られないことがよくあります。この問題の本質は、古典的な機械学習よりもはるかに深いところにあります。

---

なぜ時系列（予測）が難しいのか？

問題の定義

予測とは、過去の観測値 $y_{1:t}$ を用いて未来 $t+h$ の値を見積もる関数 $f$ を学習することです：

$$ \hat{y}{t+h} = f(y{1:t}) $$

この問題には以下の変形があります：

• 外生変数あり: 気象やプロモーションなどの外部要因 $x$ を含む条件付き予測 $f(y_{1:t}, x_{1:t})$。
• 確率的予測: 点推定ではなく、分布 $p(y_{t+h} \mid y_{1:t})$ をモデル化する場合。
• 多数の時系列: ファウンデーションモデルのように、多数の系列を同時に扱う場合 $f(y_{1:t}, v_{1:t}, \cdots)$。

時系列データは IID ではない（単一の軌道）

一般的な機械学習では、大量の独立サンプル $(x_i, y_i) \sim p(x, y)$ が得られ、最大尤度推定が行われます：

$$ \min_\theta \mathbb{E}[\ell] \approx \min_\theta \frac{1}{n}\sum [\ell] $$

しかし、時系列は**単一の依存パス（軌道）**しか持ちません。

• IID 機械学習: $n$ 個の独立サンプルから学習可能。
• 時系列: データ生成「分布」ではなく、データ生成「過程」からの派生であり、連立確率分布 $p(y_1, \dots, y_t)$ に従います。

この構造的違いにより、以下の 3 つ独自の課題が生まれます：

1. 信号対ノイズ比が低い（特徴量の乏しさ）
2. 「データの不足」がある
3. 分布シフトの影響を強く受ける

1. 信号対ノイズ比の低さ

• 時系列: $f(y_t \mid y_{<t})$ において、過去の値だけでは信号が希薄です。
• 言語モデル (LLM): トークン間には高い意味内容や文脈情報（大きな相互情報量）があり、「解決済み」の域に達しています。
• 時系列: 実数値シリーズには同様の豊かな意味構造がなく、信号が乏しいです。

2. データの不足（実質サンプルサイズの問題）

「大量の時系列データがあるはず」という直感は誤りです：

• 高自己相関による実質サンプル数の削減:
  • 時系列全体 $T$ ステップのうち、独立した情報は含まれていません。
  • $y_{t+1}$ を予測するためには、$y_t$ だけで十分学ばれています（余剰データ）。
• サイクル数＝実質サンプル数:
  • 有効なサンプル数は「時間スタンプ」の数ではなく、経験したサイクル（パターン）の数です。
  • 例：景気後退のパターンを学習する場合、有効サンプルは過去に経験した「後退の回数のみ」となります。
  • m4_hourly は多数の短尺シリーズでサイクル数を稼ぎますが、単一の長期間の為替レートデータでは独立した例が限られます。

3. 分布シフトへの脆弱性

• トレーニング中 vs テスト: ML の分布シフトは通常時間経過に伴うものですが、時系列では予測そのものが**外挿（推測）**であるため、動的変化に対して常に脆弱です。
• 為替・ビットコインなどの事例: これらのイベント駆動型データでは、高度なモデルも Naive と同等のパフォーマンスしか出せず、これはすべてが分布シフトした系列への外挿だからです。

---

時系列を学習可能にする条件

前述の課題（低 S/N、データ不足、分布シフト）は「単一パス」というデータ生成過程の結果です。学習するには以下の特性が必要です：

定常性とエルゴディシシティ

確率的なプロセスを実現された序列から推論するためには：

1. 定常性 (Stationarity)

• 定義：部分序列の分布が時間シフトに対して不変。 $$ p(y_1, \dots, y_n) = p(y_{1+h}, \dots, y_{n+h}) $$
• 弱定常性: 平均と分散は一定で、共分散はラグ $h$ のみに依存します。 $$ \mathrm{Cov}(y_t, y_{t+h}) \text{ is function of } h $$
• 注記: 実データは厳密に定常ではないため、モデリングでは近似（変換）が必要です。

2. エルゴディシシティ (Ergodicity)

• 単一の実現値からプロセス全体の性質（集合平均）を推論できること。 $$ \lim_{T \rightarrow \infty} \frac{1}{T}\sum y_t = \mathbb{E}[y] $$
• 検証不能な仮定: この特性がなければ、単一実現値からはプロセスの真の性質を知ることはできません。

3. 予測可能性の限界：ホワイトノイズの例

• ホワイトノイズは定常かつエルゴディクですが、自己相関ゼロです。
• 次の値を予測するための信号が不足しているため、最良の予測は「平均」とすることになります。

自己相関から予測価値を抽出する

時系列データの本質的な特徴は自己相関です。これを捉えるための統計的処理：

1. 生の自己相関: $R_{yy}(t_1, t_2) = \mathbb{E}[y_{t_1} y_{t_2}]$ （平均を含む絶対値）
2. 中心化（正規化）: 平均を引いて偏差の共動のみを測る。 $$ K_{yy}(t_1, t_2) = \mathbb{E}[(y_{t_1}-\mu)(y_{t_2}-\mu)] $$
3. ラグへ一般化（弱定常性）: ラグ $h$ による関数化。 $$ \gamma(h) = K_{yy}(t, t+h) $$
4. 標準化（相関係数）: 分散で割ってスケール [-1, 1] に収める。 $$ \rho(h) = \frac{\gamma(h)}{\gamma(0)} \in [-1, 1] $$

モデルごとのラグ活用方法の比較

異なるモデルファミリーが、どのラグを読み取り、どのように依存関係を利用するか：

• Naive: $h=1$ のみ（直近値）。
• Seasonal Naive: $h=$ 季節周期のみ。
• AR(p) / ARIMA: 最初の $p$ ラグを重み付き総和。 $$ \hat{y}{t+1} = \sum{i=1}^p \phi_i y_{t-i+1} $$
• HAR: 固定ラグ（1, 5, 22 日）の線形結合。
• DLinear / NLinear: リルックバックウィンドウ内の全ラグを学習した重みで結合。
• PatchTST / Attention / LightGBM: 全ウィンドウを対象に、非線形で複数のラグを結合（例：ラグ 2 の影響がラグ 1 に依存）。
• ファウンデーションモデル (TimesFM, Chronos): 数百万の系列から学習したラグへのマッピングを適用。

グローバルな構造学習の限界

• 現実世界の時系列は、独立したプロセスとして扱われるべきですが、FA が「グローバル」パターンを学習しようとします。
• m4_hourly などの強季節性データでは FA も有効ですが、予測可能性が低い（ノイズが多い）シリーズでは古典的な統計モデルと同等か劣る結果になります。

---

結論：予測可能性の測定と限界

予測可能性を測る方法

• 直接比較: Naive ベースラインとの性能差。
• スペクトラル予測可能性: エントロピーや周波数密度（

  tsfeatures

  ）を用いて、特定の周期成分がどれだけ強調されているかを測定。
• ルンジ・ボックス検定: 差分後の残差に構造がないか検定（Ljung-Box Test）。

主要な結論

時系列は IID サンプルの袋ではなく依存パスです。このため：

• 信号が希薄。
• 実質サンプルサイズが小さい。
• テストセットは必ず外挿領域にある（ドリフトの影響）。

重要な教訓

予測可能性が低い現実の時系列において、以下のアプローチは向上効果（lift）を期待できません:

• 複雑な非線形モデル（ニューラルネットワーク）の使用。
• 歴史的シーケンスへの過剰な特徴工学適用。
• ファウンデーションモデルによるデータのプール。
• 人工的時系列データの生成。

次のステップ：外生特徴量へ

予測可能性信号が不足している場合、現実世界の外的（外生）特徴量を探求することが鍵になります。 特に金融市場やビットコインなどイベント駆動型データでは、ショックやドリフトに伴う構造変化は、適切な外生変数によってモデル化・補正可能です。