二つのニューロンによる自転車の走行制御

マシュー・クック著。従来の強化学習や物理法則の厳密な解析は、自転車運転学習に非現実的なコストを要するが、人間はこの二者を必要としない。本稿では、所望の目標方向への移動を実現する二ニューロンネットワークについて報告する。

1 はじめに：自転車の直感的理解と課題

1.1 直感とシミュレーションのギャップ

現実世界で自転車に乗れる者が、シミュレーターでもうまくいかないケースは珍しくない。その理由は以下の通りである。

• 感覚情報の不足: シミュレーターでは、慣性の感覚や傾斜操作による微細なフィードバックが欠落している。
• 制御の矛盾: 右に曲がるためにはハンドルを左へ押し込む必要がある（接地点の移動により自転車が右に傾くため）。一度安定して右に傾くと、物理的にハンドル自体が右に押されようとする力が発生するため、左への力を維持しなければならない。

1.2 研究の目的

• 従来のアプローチでは困難な課題を解決しうる能力のある二ニューロンネットワークを実装したプロジェクトを紹介する。
• 読者は自らの関心（手法論や結果など）に合わせて該当部分を読み進めることができるよう構成されている。

注釈:

• タイトル「二つのニューロン」は誇張ではなく、単一ニューロンでも可能かもしれない可能性は除いていない。
• 前方ホイールのトルク効果は簡略化されているが、本手法と同じ効果が現れる。

2 シミュレーターシステム概要

2.1 物理法則の定義

• 汎用ロボットシミュレーターを用い、剛体（自転車部品）とヒンジ接続で自転車を構成する。
• 慣性モーメントの計算および各部品に作用する力のシミュレーションを行う。
  • ヒンジ接続の方程式系を各ステップで解き、対向要求を満たすように制御する$^{4}$。

2.2 バイクロット・ロボット（仮想自転車）

• 構造: 4 つの剛体（両ホイール、フレーム、フロントフォーク）。
  • 図 1: 仮想自転車の構造と接続関係。
• 接続要件:
  • 各部品の間：定義された軸回りの回転許容。
  • ホイールと地面の接点：高度ゼロかつ水平方向への移動なし（滑らない）。
• センサ入力（コントローラーに提供される量）:
  • 位置、方向角、速度、ハンドル角度およびその変化率、自転車傾きおよびその変化率など。
  • ※部品の質量や比率といった詳細は知らされない。
• アクチュエータ（出力可能な制御量）:
  • 後輪へのトルク。
  • ハンドルへのトルク。
  • ※乗車者の体による傾斜制御は実装していない。

2.3 コントローラーの設計課題

• 問題定義: $a \priori$（事前）の解法が不明な状況で、人間が利用可能な情報のみを使ってコントローラーを設計する。
• 主要アプローチ:
  • 予見型: 強化学習を用いる（実用性よりシミュレーション内での試みに焦点）。
    • 風の影響や価値関数の学習を試みるも、安定性の高い動作を得るまでには至らなかった$^{2}$。
  • 人間型: 熟練者の行動観察と主観的な制御方法を分析する（次のセクションへ）。

3 ヒューマングローブコントローラーから二ニューロンへ

3.1 人間の洞察から得られた知見

• 人間の専門家による自転車運転の研究結果をネットワーク設計の基盤とする。
• 重要: 人間は自転車の傾き角（$\gamma$）に集中して制御することに成功している。
  • 単なる位置記録だけでなく、主観的な制御アルゴリズム（「傾き角を慎重に調整する」こと）の記述が有効だった。

3.2 定義された変数と共分散解析

• 図 3: コントローラー入力変数間の相関関係を示す。
  • ハンドルトルク（$\tau_h$）と曲がり量（$\dot{\theta}$）には相関が見られるが、その因果方向は逆である（安定化のために $\gamma$ を調整する必要がある）。
• 主要な定義変数:
  • 1: 時間 ($t$), 2:x座標, 3:y座標
  • 4: 方向角 ($\Theta_H$), 5: 速度 ($s_H$)
  • 6: 傾き角 ($\Gamma_H$), 7: ハンドル角度 ($\Alpha_H$)
  • 8: 意図速度, 9: ハンドルトルク ($\T_h$)
  • (10-16): 上記各変数の時間微分（ドットつき）。

4 二ニューロンネットワークの構造と挙動

4.1 ネットワーク構成

• 入力: 所望方向角 ($\theta^d$), 現在方向角 ($\theta$), 現在傾き角 ($\gamma$) およびそれらの微分。
  • ※目標方向へ移動し、経路追跡（ウェイポイント）にも対応可能。
• 構造:
  1. 第一ニューロン: 入力から非線形変換を経て、所望の傾き角 ($\gamma^d$) を出力。
     • 単位の加重和に対して閾値関数 ($\sigma$) を適用。
  2. 第二ニューロン: 第一ニューロンの出力を受け取り、ハンドルに適用すべきトルクを出力。
• 出力: 最終的なハンドルトルクはアクチュエータへ伝達され、安定走行を実現する。

4.2 制御ロジックと数式

ネットワークの任務は、自転車の方向角 $\theta$ を所望値へ移動させることである。これには傾き量 $\gamma$ とその変化率 $\dot{\gamma}$ の制御が不可欠であり、以下の数式で記述される$^{4}$：

1. 第一ニューロン（目標傾き角 $\gamma^d$ の算出）: $$ \gamma^d = \sigma(c_1 (\theta^d - \theta)) $$

   • 現在の方向と目標方向の差分を一定数 ($c_1$) 倍し、非線形性を付与して過度な傾きを抑制する。

2. 第二ニューロン（トルク $\tau_h$ の算出）: $$ \tau_h = c_2 (\gamma^d - \gamma) - c_3 \dot{\gamma} $$

   • 目標傾きと現在傾きの差に基づき、また現在の傾き変化率 ($\dot{\gamma}$) をフィードバックしてトルクを調整する。

• 図 4: ニューロンの動作方程式および定数 $c_i$ の役割（安定性特性に従って設定）。
  • このネットワークは、正確なパラメータ値への感度が低く、比較的簡単に実装可能である。

4.3 結果と性能評価

• 驚異的な走行性能: 広い速度域で安定して自転車に乗ることができる。
  • 図 5: ウェイトポイント間の経路追跡を連続的に遂行する様子（不規則な書き込みはマウスの軌跡であり、自転車の制御不安定ではない）。
• 限界と課題:
  • 低速時や急な曲がりにおける不安定性の完全な減衰には至らない。
    • ※これはこの任務に特化した第三のニューロンを追加することで改善できる可能性がある。

注釈 (幾何学と安定性):

• 二つのニューロンだけで $\dot{\theta}$ を直接使用する必要はない（図 3 の解析に基づく間接制御が可能）。
• 重要: この制御が機能する背景には、現実的な自転車幾何学がある。 * 実際の自転車は、ライダーがハンドルを持ちながら走らずに傾き角だけを制御することで安定するように設計されている。 * 仮想自転車においても、フロントフォークの回転軸をホイールハブより下かつ接地点より上に設定し、この特徴を再現している$^{7}$。

5 将来の展望：自動化された学習

5.1 パラメータの適応性

• システムを通じてパラメータを学習・チューニングさせることが可能。
  • ※システム構造の変更や異なる自転車への適用においても、経験を通じてすぐに動作する方法を学習できる。

5.2 アダホック（適応的）な設計と自律性の追求

• 現状のアプローチ: 人間の熟練者による観察→因果関係の記述→二ニューロンネットワークの実装。
• 目指す方向:
  • 人間をループから取り除く。
  • コンピュータが**最少限の経験（失敗回数最小化）**のみで問題解決を行う自律システムへの進化。
  • 物理システムの詳細な知識を持たないまま、因果モデルを用いて自動設計できる手法の開発。

謝辞と参考文献

• 謝辞: Shuki Bruck氏と Erik Winfree氏の有益な議論、および国立人類ゲノム研究研究所（Grant No. P50 HG02370）による資金支援に謝意を表す。
• 参考文献:
  1. Randløv, Alstrøm (1998): 強化学習を用いた自転車運転学習の試み（数千回練習が必要）。
  2. Getz & Marsden (1995): 自律型自転車の制御に関する論文。
  3. von Wissel et al. (1996): Descriptor Predictive Control のアプローチ。
  4. Chen & Tsai (2001): Riderless Bicycle のステアリング制御系設計。
  5. Buss (2000): 剛体回転の正確かつ効率的なシミュレーション手法。