
2026/11/14 22:31
強化学習の視覚的な解説
RSS: https://news.ycombinator.com/rss
要約▶
日本語翻訳:
本記事では、「Myriad」という名称の神経科学者アカループ・バーンジーとアートーシュ・バティアによるコラボレーションから登場するデジタルエンティティ「spark」を紹介する。この spark は、数ミリの最小限の 4 ニューロンで構成された神経回路を、試行錯誤を通じて自身で再配線することで新たな行動を学習するように設計されている。バレンチノ・ブライテンベルクの業績やドーパミンフィードバックを通じて学習する歌birds(ことぶき鳥)に着想を得ており、spark はロナルド・ウィリアムズの REINFORCE アルゴリズムと重み摂動を使用している。各数千回の試行において、内部パラメータである結合強度(ws, wc)および駆動力(d)をランダムに変動させ、ReLU 関数を用いて速度や旋回をチューニングする。ユーザーはこれらを設定してスコアを 0.5 以上にするよう調整し、火花が不器用な初心者から瞬間的に戦略を変更して適応する熟練した光探求者へと進化する姿を目撃できる。例えば、危害から逃れるように行動したり、高速接近を行うなどといったルール変更にも即座に適応する。このマイクロ規模の生物学的なアナロジーは、完全な再プログラミングなしに単純な構造から複雑で適応的な行動がどのように発生するかを示しており、脳の可能な構成の広大な空間における学習軌道可視化を通じて、将来の AI 及び神経科学において貴重な洞察を提供する。
本文
頭脳はどうやって新しいスキルを学ぶのか?——「強化学習」による自己学習の実験
この問いに答えるために、光に向かって進化する単純なデジタル生命体「スパーク」を作成し、観察しました。前編では手動で配線しましたが、今回はスパーク自身が行動から学び、脳を再配線するプロセスを再現します。
あなたの役割:脳の配線を行う
我々人間も生まれながらに歩く方法を知らないため、試行錯誤を通じて獲得してきました。スパークも同じように学習させます。制御権はあなたです。
1. スパークの脳構造
- 神経細胞数: わずか4 つ
- 目:2 つ(左・右)
- 足びん(フリップ):2 つ(左・右)
- 接続ルール:
- 体の同側は直結。反対側は交差接続。
- 配線パラメータ: 結局のところ3 つの数値で決定される
- 目間直結の強さ ($w_s$)
- 目間交差接続の強さ ($w_c$)
- 光がない際の移動速度(ドライブ $d$)
2. あなたの目標
- スパークに**「光が好きになる」**ことを目的とします。
- スコア(遭遇した光の平均量)を0.5 より大きくすることを目指しましょう。
| ニューラル回路構成 | スコア | 試行回数 (Tries) |
|---|---|---|
| ※スコアは、この設定での 100 回の試行間にスパークが遭遇した平均的な光の量 | - | - |
ヒント: 行き詰ったら上の「ヒントボタン」をクリックして方向指針を得てください。直ちに操作を可視化しましょう。 これら 3 つの数値は立方体の軸で表され、学習軌跡(経路)はこの空間内を描くことができます。
学習アルゴリズム:自己学習の仕組み
あなたはスライダーを動かして最適解を探しましたが、スパークはこの手順を「学習アルゴリズム」として自動化します。
- 試行: 光に向かって多数回動き、行動の結果を確認する。
- 変化: 各試行前、脳配線(パラメータ)をランダムに少しだけ変える(スライダルの移動と同じ)。
- フィードバックに基づく調整:
- 成功(過去よりうまくいった場合):報酬を受け取り、ランダムな変化の同じ方向に配線を修正。
- 失敗(過去より悪かった場合):罰を受け取り、ランダムな変化の反対方向に配線を修正。
このプロセスは、人が転び続けてバランスを覚える、自転車に乗る方法を学ぶことと大差ありません。「転ぶ」が罰で、「平衡感覚」が報酬です。
学習の進捗(試行回数による変化)
| 試行回数 | ステータス | 行動の変化 |
|---|---|---|
| 0 回 | 素人 | 固定場所で回転のみ可能。移動できません。 |
| 50 回 | 歩行者 | 初めて歩くようになります。ただし速度は遅いです。 |
| 250 回 | 青少年期 | 速さを身につけましたが、光から逃げ続けます(回避行動)。 |
| 500 回 | 思春期 | 堂々と光へ突進します。ただし減速や停止はできません。 |
| 2,000 回 | 熟練者 | 達人です。光を追いかけ、急旋回も可能です(光源移動に追随)。 |
視覚化:学習軌跡と「奇跡」の構造
スパークの学習過程は、「可能な脳の状態」という空間内での経路として可視化されます。
- 個体の軌跡: 異なる起点からスタートする多くの素人スパークが、複雑に絡み合うウェブを描きます。
- 収束点: 全ての異なる学習経路が一点(♥︎)で「光を愛する脳」に収束します。
- 非直線性: 学習は直線的ではありません。挫折や迷いがあり、数千回の試行が必要になることもあります。
- ジッター(振動): グラフの細かな揺れはランダム性によるものです。多数の経路を平均することで滑らかな「地図」として捉えられます。
驚きの事実: 無数の配線パターンの中で、成功するのはごくわずかです。失敗する可能性の方が圧倒的に高いですが、試行によって小さな奇跡が起きます。スパークは無報酬・無罰の状況なしに、脳を再配線して迷路から脱出し、光を見つけました。
新しい環境への適応:生涯学習
人間のように、スパークも学習は止まりません。状況に応じて振る舞いを変化させます。
- 光が危険な場合:
- 「光を探す」代わりに「光から逃げる」という報酬を与えると、FLEE(逃走)またはFREEZE(凍りつく・死んだふり)を学びます。
- 高速度での接近が褒められる場合:
- 光に突撃する行動が rewarded されると、FIGHT(戦闘)を学習します。
結論: スパークは環境によって形成され、逃走・凍結・戦闘・追従など、多様な振る舞いを獲得できます。
生物における強化学習の例
幼い鳥類は「バブリング」(意味のない音を出す)を行い、歌のランダムなバリエーションを試します。
- 成功: 自分の歌が大人の記憶に近づくほどドーパミン(報酬)放出。
- 失敗: 遠ざかるほどドーパミン放出が減る。 これにより、教師なしでも美しい歌を習得します。
なぜ単純なモデルなのか?
スパークの脳は 4 つの細胞と 3 つの数値という極限まで単純化されています。そのため、3 次元空間で学習のプロセス全体を観察できました。
- 人間の脳: 約860 億個の神経細胞、100 兆超の接続を持つ壮大な空間です。
- 基本原則の共通性:
- 学習とは、この膨大な内部空間をナビゲートすること。
- フィードバックが、その方向を示すコンパスとなる。
技術的詳細:どう実装したか
スパークの運動制御
神経科学者ヴァレンティーノ・ブライテンベルクの研究に基づくニューラル回路を以下の式で実装しました。
$$ v_L = \sigma(w_s b_L + w_c b_R + d) $$ $$ v_R = \sigma(w_c b_L + w_s b_R + d) $$
- $v_L, v_R$: 左・右足びんの速度
- $b_L, b_R$: 左目・右目で捉える明るさレベル
- $w_s$: 直結合強さ(同側)
- $w_c$: 交差接続強さ(反対側)
- $d$: ドライブ値(光なし時の速度)
- $\sigma(x)$: ReLU 関数
学習アルゴリズム:REINFORCE (Weight Perturbation)
ロナルド・ウィリアムズのアプローチを採用し、パラメータ ($w_s, w_c, d$) をランダムに変化させ、報酬に基づいて調整します。
- 試行設定: ランダムな位置からスタートし、500 タイムステップ分移動。
- 報酬計算: 経路中の平均明るさを算出。直近の移動平均と比較。
- パラメータ更新式:
$$ \Delta W = \alpha \varepsilon (R - \overline{R}) $$
- $\Delta W$: パラメータの変化量
- $\alpha$: 学習率
- $\varepsilon$: ランダム変化量
- $R - \overline{R}$: 平均よりどれだけ良かったか(報酬)
この数千回の反復により、スパークは光を愛する脳を獲得しました。OpenAI が AI ゲームで使用する「進化戦略」も同様のアイデアに基づいています。
次へ: 『Myriad』シリーズ第二章のおわりです。 ※本章では、「物質から心がいかに現れるか」を探求し続けています。