2026/01/04 14:02
ニューラルネットワーク：ゼロからヒーローへ
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
概要：
Andrej Karpathy のオンラインコースは、Python と高校レベルの数学だけを使ってゼロからニューラルネットワーク言語モデルを構築する方法を学生に教えます。カリキュラムは 2 時間 25 分のバックプロパゲーションのウォークスルーで始まり、その後ビデオ 2 ではビッグラム文字レベルモデル、次にビデオ 3 で学習率・ハイパーパラメータ・トレイン/開発/テスト分割を導入する MLP 文字レベルモデルへ進みます。ビデオ 4 は BatchNorm を備えた 2 層 MLP の内部構造に深く掘り下げ、フォワード／バックワードパス、スケーリングの落とし穴、および残差接続を網羅します。このネットワークを手動でバックプロパゲーションする方法はビデオ 5 で示され、ビデオ 6 は WaveNet スタイルのツリー構造へ拡張し、テンソル形状管理とノートブックとリポジトリコード間のワークフローを強調します。ビデオ 7 では「Attention Is All You Need」と OpenAI GPT‑2/3 に基づく Generative Pretrained Transformer（GPT）を実装し、ChatGPT や GitHub Copilot といった製品との概念的リンクを示します。ビデオ 8 はトークナイズに焦点を当て、Byte Pair Encoding、エンコード/デコード関数、およびトークナイゼーションがモデル挙動に与える影響を説明します。このコースは、言語モデルが深層学習の入門として優れていることを強調し、多くの概念がコンピュータビジョンなど他領域にも転用できると述べています。これらのビデオ以外にも、より高度なトランスフォーマー設計、トークナイゼーション最適化、および展開戦略を含む追加内容が予定されています。
本文
コース概要
アンドレイ・カルパティ（Andrej Karpathy）による、コードからゼロからニューラルネットワークを構築する方法を学ぶ講座です。
まずはバックプロパゲーションの基礎から始め、GPTなどの最新ディープニューラルネットワークへと段階的に進みます。私見では、言語モデルはディープラーニングを学ぶ上で最適な出発点です。将来的にコンピュータビジョン等他分野へ移行する場合でも、学んだ内容がすぐに応用できるためです。この理由から、本講座では言語モデルの実装と理論に重点を置きます。
前提条件
- Python を使った堅実なプログラミングスキル
- 入門レベルの数学（微分、ガウス分布など）
シラバス
| 時間 | 内容 |
|---|---|
| 2h 25m | バックプロパゲーションとニューラルネットワークの学習を段階的に解説。Python の基礎知識と高校レベルの微積分程度の記憶さえあれば理解可能です。 |
| 1h 57m | 文字レベルのビグラム言語モデルを実装し、後で GPT 等のモダン Transformer に拡張します。 |
| 1h 15m | 文字レベルの MLP 言語モデルを構築します。機械学習の基礎（学習、学習率調整、ハイパーパラメータ、評価、train/dev/test 分割、過学習・未学習）を紹介。 |
| 1h 55m | 多層 MLP の内部構造に深く掘り下げます：フォワードアクティベーション、バックプロパゲーション勾配、スケーリングの落とし穴、診断ツール・可視化。ディープネットが脆弱になる理由を学び、バッチ正規化を導入します。残差接続や Adam オプティマイザは後半で触れます。 |
| 1h 55m | 2 層 MLP（BatchNorm 有り）を |
| 56m | 2 層 MLP をさらに深く拡張し、WaveNet（2016）に似た畳み込み構造へ。 |
| 1h 56m | 「Attention Is All You Need」と OpenAI の GPT‑2/3 を参考に、Generatively Pretrained Transformer（GPT）を構築します。ChatGPT への接続と GitHub Copilot をメタ-GPT の例として解説。自己回帰モデルの基礎は前動画で視聴することが推奨です。 |
| 2h 13m | トークナイザー：LLM が文字列とトークンを変換する不可欠なコンポーネント。OpenAI の GPT 系で使われる Byte Pair Encoding をゼロから実装し、トークナイズが LLM の挙動に与える影響やこのステップを省く可能性について検討します。 |
継続中…