
2026/10/19 18:59
ティムストレール:ミストラルの時系列基礎モデル
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
このモデルファミリーは、5M 以降の規模(209M パラメータまで)にわたる最先端の確率的予報を提供し、GIFT-Eval、TIME、および fev-bench といったすべての公開ベンチマークで首位に立ちつつ、以前のパイオニアと比較してパラメータ数がわずか 3/4(正確には 2/3)のみを使用しています。アーキテクチャ上では、未来データのリークを防ぐために解像されたホライズン予報と共変量感知アテンションを採用し、さらにシネティックファーストデータ生成および確率的精度のための Pinball ロス関数を備えています。効率性を重視した設計であり、標準 CPU 上で動作可能(最小モデルでも完全な 1 日の履歴をわずか 10ms で予報可能)で GPU は不要であり、アエアップされた環境やエネルギー・サプライチェーンといったセクターに最適です。本システムはゼロショット予報をサポートし、カテゴリカル入力も直接扱え、異常検知から原因分析に至るまでのタスクに対応するための既存のモニタリングパイプラインやマルチモーダルエージェントワークフローへの統合が可能で、現在は Modified MIT ライセンスの下で GitHub 上で利用可能です。
本文
Timestral: Mistral 時系列ファウンデーションモデルファミリーの概要と特徴
Timestral は、Mistral が発表する初の時系列ファウンデーションモデル(TSFM)です。本稿ではその技術的特徴、性能、および産業応用例について解説します。
製品概要
- 定義: Mistral がリリースした初の時系列ファウンデーションモデル(TSFM)。
- パラメータ数: 2.09 億(209M)規模で最先端の確率的・多変量予測を実現。
- 性能: 主要ベンチマークにおいて大規模モデルを上回る精度を発揮。
- サイズ展開: 5M から 209M パラメータまでの4 つのサイズを提供。
- 対応データ:
- 過去の共変量(説明変数)
- 既知の未来の共変量(事前知識)
- 特徴:
- 精度と効率性のバランスが最適化されています。
- CPU 上で効率的に動作します。
- 多様な分野でゼロショット予測に優れています。
- アーキテクチャ:
- 合成データによる事前学習
- 共変量認識的なアテンション機構
- 長文脈学習
- カスタマイズ: ドメイン適応のためのファインチューニングオプション(Mistral Forgeを介して提供)。
主要成果とリーダーボード成績
209M パラメータの最大モデルは、分野別の 3 つの主要ベンチマークで第 1 位を獲得し、パラメータ数を約 2/3 に抑えつつ従来最高の結果(State of the Art)を上回りました。
ベンチマーク結果一覧
- GIFT-Eval:
- 事前学習済みかつゼロショットの 83 エントリー中、上位 10。
- 注: 指標は小さいほど良いスコアです。
- TIME:
- リーダーボードエントリー 35 件中、上位 10。
- 注: 両方の指標で小さいほど良いスコアです。
- fev-bench:
- SQL スキルスコアによる 37 エントリー中、上位 10。
- 注: 大きいほど良いスコアです。
モデルファミリーの性能比較
すべてのサイズは同一のアーキテクチャとトレーニングレシピを共有し、Pareto フロント上に位置しています(各サイズでトップクラスの性能)。
- 28M モデル:
- 規模が約 4 倍大きい Chronos-2 よりも GIFT-Eval と TIME で優れた性能を示しました。
- 209M モデル:
- パラメータ数は比較的小さくても、TimesFM-3 や Falcon-2.0 を上回る予測精度を達成しています。
CPU での推論効率
推論時には GPU は不要です。標準サーバーの CPU(8 スレッド)上で、過去 3 ヶ月分の履歴データを用いて 1 日先の予測を行う場合の推論時間は以下の通りです。
| モデルサイズ | 推論時間 (1 デイ) | 特徴 |
|---|---|---|
| 5M | 10 ms | 高速だが精度の一部を犠牲に |
| 28M | 約 40 ms | 209M の約 5 倍高速で、精度も高い |
| 123M | 約 60 ms | スコアの 99.8% を達成し、レイテンシを 75% に抑制 |
| 209M | 140 ms | 最大性能モデル |
産業応用例:工場のセンサーデータ
Timestral は数千のセンサーを備えた工業プラントにおいて、以下の通りデータの予測精度を大幅に改善できます。
- 多変量予測:
- ポンプの振動、温度、圧力は独立して変動しません。
- Timestral は関連する時系列を同時にモデル化するため、依存関係を積極的に利用します。
- 確率的予測:
- 単一の値だけでなく、完全な量子列(quantiles)セットを予測します。
- これにより不確実性の幅を確認し、リスクに基づいたアラート閾値の設定や計画立案が可能になります。
- カテゴリ型共変量:
- 曜日や機械の状態(稼働中・停止中など)を数値に変換せず、直接カテゴリ入力として受け取ります。
- これにより順序関係やスケールの誤った付与を防ぎます。
- 既知の未来共変量:
- 生産スケジュール、計画されたシャットダウン、天気予報などを条件付けます。
- 例: 負荷増を「驚き」としてではなく、「期待されている」として適切に処理し、予測品質が向上します。
モデルからシステムへ:運用イメージ
Timestral は既存の監視パイプライン内での実行や、言語モデルとの連携も可能です。プラントでの具体的な運用フローは以下の通りです。
- 継続的なモニタリング:
- プラントのセンサーストリーム上で稼働させ、異常発生を検知します。
- 異常対応:
- エージェントが異常シグナルを埋め込み化し、過去の類似障害を検出します。
- 原因分析:
- エージェントは保守記録やマニュアルから情報を抽出し、サブエージェントを起動して根本原因分析を行います。
- 診断と計画:
- エージェントが推奨診断書(根拠と次のステップを含む)を作成します。
- マネージャー向け出力:
- アラートだけでなく、センサーデータに裏付けられた診断書と実行プランを提供します。
技術的貢献
革新的なアイデアにより実現されています(詳細は技術報告書参照)。
- 分離されたホライズン予測 (DHF):
- 従来の因果エンコーダーでは、予測対象値がマスクアウトされ欠損のように扱われました。
- DHF ではこれを分離し、完全な履歴と学習された予測トークンを別々に保持します。
- これによりトレーニングホライズン長と欠損データ拡張を独立に調整可能です。
- 共変量認識的なアテンション:
- 入力シーケンスごとに役割(ターゲット、過去のみ共変量、既知の未来共変量)を割り当てます。
- 情報の流れは共変量からターゲットへ限定されるため、ターゲット自身の未来が予測に漏れ出るのを防ぎます。
- 合成ファーストデータ:
- トレーニングデータの大部分は合成データです。
- トレンドや季節性を備えた一変量過程を生成し、その後非線形依存関係を導入して多変量系列を構築します。
- 2 段階学習:
-
- コンテキスト長 8,192 の純粋な合成データで事前学習。
-
- 4 倍の長いコンテキストを持つ実データと合成データのミックス上で後学習。
- 目的: 21 クァンタイルにわたるピンボールロス(CRPS の離散近似)を最小化。
-
適応可能なモデルとカスタマイズ
市場の変化や設備の劣化など環境変化に対応するため、Mistral Forgeを介して詳細なカスタマイズが可能です。
- ゼロショット推論:
- 即座に動作します。
- アーキテクチャ拡張:
- ドメイン固有の共変量に対応できます。
- ファインチューニング:
- プロプライエタリーデータを用いてドメイン特化化しつつ、一般性能を維持します。
- トレーニングデータの制御:
- トレーニングミックスの調整や合成データサンプルの生成など、データに関する完全な制御が可能です。
- デプロイ:
- クライアントのハードウェア(エアギャップ環境を含む)上にフルパイプラインを展開可能です。
スペック概要
| 項目 | 内容 |
|---|---|
| タイプ | 時系列ファウンデーションモデル (TSFM) |
| パラメータ数 | 5M, 28M, 123M, 209M |
| コンテキスト長 | 32,768 タイムステップ |
| 出力 | 確率的予測(21 クァンタイル) |
| 入力 | 多変量ターゲット、過去のみの共変量、既知の未来共変量 |
| デプロイ先 | オンプレミス、VPC、エアギャップ対応 |
| ライセンス | Modified MIT |
次のステップ
- GitHub リポジトリが公開されています。ご自身のデータを用いて Timestral を実行できます。
- 技術報告書も近日中に公開予定です。
- より特殊な予測問題や共同研究のご相談は、公式お問い合わせ窓口へお願いいたします。