Resonate: 効率的な低遅延周波数分析

概要

Resonate は、音信号から知覚的に重要なスペクトル情報を評価するためのアルゴリズムです。主な特徴は以下の通りです：

• 低遅延・低メモリフットプリント・計算コストが低い。
• 時系列領域において、EWMA（指数加重移動平均）を用いた共振器モデルを基盤としています。
  • EWMA はより最近の入力値に重みを付与し、過去の値の寄与は指数関数的に減衰します。
• 緊密で反復的な形式化により、各入力サンプルに対して更新計算のみを実行可能です。
  • バッファリングを不要とします。
  • 単なる数個の算術演算だけで済み、極めて効率的です。

数学的定式化

各共振器（インデックス (k)）は固有の自然共振周波数と瞬時の共振周波数 (f_k(t) = \frac{\omega_k(t)}{2\pi}) で特徴付けられ、複素数 (R_k(t)) で記述されます。

1. 基本更新式 実数値の入力信号 (x(t) \in [-1,1]) の各サンプルに対して、位相回転子 (P_k(t)) を通じて漸化式を更新します（サンプリング周波数：(sr)、サンプル継続時間：(\Delta t = 1/sr)）。

[ P_k(t) = P_k(t-\Delta t) e^{-i \omega \Delta t} ]

[ R_k(t) = (1-\alpha_k) R_k(t-\Delta t) + \alpha_k x(t) P_k(t) ]

パラメータ (\alpha_k)

• 範囲：(\alpha_k \in [0,1])
• 役割：新しい測定値が蓄積された値に与える影響度を規定します（時間定数の関数）。
• 設定例：音声アプリケーションでは、20–20,000 Hz の範囲に対して (\alpha_k = 1 - e^{-\Delta t \frac{f_k}{\log(1+f_k)}}) が合理的な経験則となります。

2. 平滑化 パワーと位相の振動を抑制するために、パラメータ (\beta_k) を用いて (R_k) に EWMA を適用し、平滑化された状態 (\tilde{R}_k) を得ます。

[ \tilde{R}_k(t) = (1-\beta_k) \tilde{R}_k(t-\Delta t) + \beta_k R_k(t) ]

• この定式化は、Dolson (1986) の「The Phase Vocoder: A Tutorial」におけるフィルタバンク解釈（第 1 ステップ：heterodyning 後の低域フィルタリング）と一致します。
• 利点：入力信号の各サンプルごとに状態を更新するにはごく少数の算術演算しか必要ありません。パワーや絶対値の計算は必須ではなく、必要な場合のみ実行することで効率的に処理可能です。

性能特性

• リアルタイム推定：知覚的に重要な周波数スケールに独立してチューニングされた共振器のバンクにより、入力信号のスペクトル内容に対する直感的な推定値を瞬時計算します。
• スケーラビリティ：メモリ使用量およびサンプルごとの計算複雑性は、共振器の数に比例し、処理された入力サンプル数や信号の長さには依存しません。
• 並列性：共振器同士が独立しているため、すべてのサンプルごとの計算を共振器間で並列化可能です。
  • オフライン処理では、累積計算コストは処理された入力サンプル数に応じて線形に増加します。
• 柔軟性：(François, 2025) のオリジナルモデルは FFT と同様に固定周波数を採用しましたが、Resonate では共振器の共振周波数変化に対する制限はありません。

---

追跡型モデル (Tracking Model)

(François, 2026) で紹介された拡張モデルでは、共振器の共振周波数が時間とともに変化する機能を付与しています。

動作ロジック

• 無信号時：(R_k(t)) が絶対値閾値未満の場合、共振周波数は固有の自然共振周波数に固定されます。
• 有信号時：顕著な応答が検知される場合、共振周波数は推定された瞬時周波数を追跡します。

瞬時周波数の計算

各時間ステップにおいて、前時の (\tilde{R}_k(t-\Delta t)) と現在の (\tilde{R}_k(t)) の間の位相差 (\Delta \phi_k(t)) を算出し、瞬時周波数を更新します。

[ f_k(t) = f_k(t-\Delta t) + \frac {\Delta \phi_k(t)}{2\pi \Delta T} ]

計算手法の効率化

• 複素数の共役乗積を用いることで、位相差 (\Delta \phi_k(t)) を効率的に計算します。 [ D_k(t) = \tilde{R}_k(t) \overline{\tilde{R}_k}(t-\Delta t) ] [ \Delta \phi_k(t) = Arg(D_k(t)) ]
• 主値（principal value）の引数計算は 1 回のみで済み、**位相の巻き戻し（phase unwrapping）**という問題を回避できます。
  • これは FFT ベースのボコーダー解析においてホップ長 > 1 の場合や、明示的な位相引き算が必要な場合に不可欠な利点です。

角速度の安定化

位相変化を時間定数 (\gamma_k) を持つ EWMA で滑らかにし、系を安定化します。

[ \omega_k(t) = \omega_k(t-\Delta t) + \gamma_k \frac{\Delta \phi_k(t)}{\Delta T} ]

この構成により、振幅と周波数が入力サイン波に追従する際、共振器の自然周波数は推定された入力周波数に素早く適応し、共振器の振幅は信号の振幅に直接比例します。これにより、入力内容に応じて自己チューニングを行う高密度な解析が可能になります。

---

スペクトログラム

時間に対するスペクトル情報は、通常、人間向けの可視化であるスペクトログラムとして提示されます（横軸：時間、縦軸：周波数）。各点は当該時間帯の周波数パワーを示し、最大値で正規化された対数色スケールで描画されます。

クラシックなスペクトログラム

適切にチューニングされた Resonate オシレーターバンクは、FFT ベースの手法よりも高い時間解像度かつより適切な周波数解像度を有し、任意の周波数スケールのスペクトログラムを直接的かつ効率的に計算できます。

• 比較対象：Librosa の

  specshow

  関数（CQT）との直接比較です。
• 例 1: Librosa の vibeace 音楽例
  • サンプリングレート：22,050 Hz
  • ホップ長：512 サンプル
  • 周波数範囲：32.7 Hz – 9,955.1 Hz (100 バイン、オクターブあたり 12 ビン)
• 例 2: Librosa の Libri3 音声サンプル
  • サンプリングレート：22,050 Hz
  • ホップ長：32 サンプル
  • 周波数範囲：0 – 8,000 Hz (128 バイン)

追跡型スペクトログラム

周波数追跡型の共振器バンクを用いてリアルタイムに計算された実際の信号のスクリーンレコーディングです。

• 入力仕様：44.1 kHz サンプリングレート。
• 描画範囲：32.7 Hz – 19,910 Hz（幾何学的間隔、112 共振器、336 バンド）。
• 更新頻度：64 サンプル（約 1.46 ms）ごとにリアルタイムでスライスを描画。
• 時間解像度：入力信号自身の解像度限界と同等です。

---

シンセシス（合成）

Resonate の処理により得られる高密度な振幅・位相情報は、音響信号のシンセシスに利用可能です。

基本原理

個々の周波数追跡共振器 (\tilde{R}_k(t)) に**逆位相回転子 (P_k^{-1}(t))**を適用することで、複素数 (S_k(t)) を導出します。これに基づいて入力信号の成分に対応する音響信号を生成できます。

• 周波数シフト比 ((fs))：
  • (1) の場合：周波数は変化しません。
  • (> 1) の場合：高音化（ピッチアップ）。
  • (< 1) の場合：低音化（ピッチダウン）。
• サンプリングレート変更 ((sr_s))：
  • 入力と同等の場合：タイミングや速度は維持されます。
  • より高い場合：短時間化（shorter）。
  • より低い場合：長時間化（longer）。

合成式

[ P_k^{-1}(t) = P_k^{-1}(t-\Delta t_s) e^{i \omega_k(t) fs \Delta t_s} ] [ S_k(t) = \tilde{R}_k(t) P_k^{-1}(t) ]

最終的な音響信号 (s(t)) は、追跡された自然周波数に最も近い共振器の (S_k(t)) を加算し、実部のみを抽出することで得られます。

[ s(t) = K Re( \sum{S_k(t)} ) ]

シンセシス例

"Who's Loving You"（The Jackson 5）

• オリジナル
  • [音声要素のプレースホルダー]
• 速度バリアント
  • 周波数シフトなし (100%)
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
  • 低音化 2 セミトーン (80%)
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
  • 高音化 2 セミトーン (120%)
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]

"Une Simple Melodie"（Michel Polnareff）

• オリジナル
  • [音声要素のプレースホルダー]
• 速度バリアント
  • 周波数シフトなし (100%)
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
    • [音声要素のプレースホルダー]
  • 低音化 2 セミトーン (50%)
    • [音声要素のプレースホルダー]
  • 高音化 2 セミトーン (75%)
    • [音声要素のプレースホルダー]
  • 低音化 1.5 オクターブ（約 2 セミトーン下、速度文脈で 150%）
    • [音声要素のプレースホルダー]
  • さらに高音化 2 セミトーン (200%)
    • [音声要素のプレースホルダー]

---

出版物

• ベストペーパー賞 | Alexandre R.J. François, "Resonate: Efficient Low Latency Spectral Analysis of Audio Signals," in Proceedings of the 50th Anniversary of the International Computer Music Conference 2025, pp. 251-258, Boston, MA, USA, 8-14 June 2025. [pdf]
• Alexandre R.J. François, "Real-Time, Low-Latency, High Resolution Audio Spectral Analysis: Phase Matters," to appear in Proceedings of the International Computer Music Conference 2026, Hamburg, Germany, 10-16 May 2026.

プレゼンテーション

• Alexandre R.J. François, "Real-time, low latency and high temporal resolution spectrograms," Audio Developer Conference (ADC25), Bristol, November 10-12. [pdf] [YouTube の動画]
• Alexandre R.J. François, "Real-time low latency audio features with Resonate" (Late-Breaking Demo Paper), First AES International Conference on Artificial Intelligence and Machine Learning for Audio (AIMLA 2025), London, Sept. 8-10, 2025. [pdf]

リソース

• noFFT：オープンソースの Python モジュール。Resonate 関数の Python および C++ 実装を提供し、オフライン環境での使用を説明する Jupyter ノートブックも含まれています。
• Oscillators Swift パッケージ：オープンソースのパッケージ。Swift および C++ の参照実装を含みます。Oscillators アプリは、リアルタイムのスペクトログラムおよび誘導された音響特徴をデモしています。
• Resonate YouTube プレイリスト：リアルタイムデモのビデオキャプチャーが掲載されています。
• Resonate Store