
2026/06/01 23:10
言語モデル化から構築する:CS336
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
元の要約は実際に非常に強く、すべての品質基準を満たしています。効果的に「from-scratch」の精神、名誉規範の厳格さ、技術的な前提条件、およびタイムラインを捉えています。唯一の軽微な改善点としては、コスト制約のため学生が最初に CPU で開始し、その後 GPU に移行するという点を明示することであり、これは源文における特定の運用指針です。ただし、現在のバージョンは十分です。
最終判断:元の要約を繰り返す。
本文
言語モデル開発の講義概要とカリキュラム
🎓 講義内容
本講義は、単一の汎用システム(LLM)が多様な下流タスクを解決する新しいパラダイムにおける深い理解を目指します。学生一人ひとりが独自の言語モデルを開発する一連のプロセスを実践的に学びます。OS 構築講義からの着想を得たように、以下のような包括的な開発サイクルを体験いただきます:
- データ収集とクリーニング: 事前学習のためのデータの準備
- Transformer モデルの構築: 基盤となるアーキテクチャの実装
- モデルの訓練: トレーニングの実行と最適化
- 評価: デプロイメント前のモデル性能検証
📋 履修前提条件
本講義は実装に非常に重きを置いた5 ユニットの科目です。十分な時間を割り当ててください。
プログラミング基礎
- Python 習熟度:
- 課題のほとんどを Python で記述する必要があります。
- 他の AI クラスとは異なり、最小限の手引き(スカーリング)のみ提供されます。
- 書かなければならないコード量は少なくとも 1 桁以上多いため、高いソフトウェア工学スキルが不可欠です。
ドメイン知識と技術要件
- 深層学習とシステム最適化:
- PyTorch への深い familiarityが必要です。
- 複数の GPU で効率的に動作させるため、メモリエアーカイバなどの基本的なシステム概念の知識が求められます。
- 数学的基礎:
- 微積分と線形代数(行列・ベクトルの演算理解)。
- 確率論と統計学(確率分布、平均、標準偏差など)。
機械学習前提知識
以下のコース内容を十分に理解していることが必要です:
- ML & DL: CS221, CS229, CS230, CS124, CS224N など。
📝 アサインメントとスケジュール
以下は暫定的な期限です。詳細は講義資料を参照してください。
| # | アサインメント | タイトル | 概要 |
|---|---|---|---|
| 1 | バージンズ(基礎) | トランスフォーマーの実装 | トークナイザ、モデルアーキテクチャ、最適化器等を実装し、最小限の言語モデルを訓練します。 |
| 2 | システム | プロファイリングと最適化 | 高度なツールによるプロファイリング/ベンチマーク。 FlashAttention2の独自実装(Triton)で Attention を最適化。 メモリエフィシェンシーに配慮した分散バージョンの実装を行います。 |
| 3 | スケーリング | スケーリング則の検証 | 各コンポーネントの機能を理解し、トレーニング API でスケーリング法則を検証してモデルのスケーリングを予測します。 |
| 4 | データ | データ処理のパフォーマンス向上 | Common Crawl ダンプデータのフィルタリング、重複除去を行い、事前学習データを最適化します。 |
| 5 | 整合性と推論 | 微調整(SFT)と強化学習(RL) | 数学問題解決能力の付与を目的とした SFT と RL。 オプションパート 2: DPO 等のセーフティ・アライメント手法の実装。 |
🗓️ 詳細スケジュール(YouTube プレイリスト参照)
| # | 日程 | テーマ | レクチャ講義担当 | コース資料 | デッドライン / その他 |
|---|---|---|---|---|---|
| 1 | 3/30 (月) | 概要、トークン化 | Percy | | - |
| 2 | 4/1 (水) | PyTorch, リソース計測 | Percy | | - |
| 3 | 4/6 (月) | アーキテクチャ、ハイパーパラメータ | Tatsu | | - |
| 4 | 4/8 (水) | Attention 代替案、Mixture of Experts | Tatsu | | - |
| 5 | 4/13 (月) | GPU、TPU ハードウェア | Tatsu | | - |
| 6 | 4/15 (水) | カーネル、Triton | Percy | | アサインメント 1 提出 / アサインメント 2 公開 |
| 7 | 4/20 (月) | 並列処理 | Percy | | - |
| 8 | 4/22 (水) | 並列処理 | Tatsu | | - |
| 9 | 4/27 (月) | スケーリング則 | Tatsu | | - |
| 10 | 4/29 (水) | 推論(Inference) | Percy | | アサインメント 2 提出 / アサインメント 3 公開 |
| 11 | 5/4 (月) | スケーリング則 | Tatsu | | - |
| 12 | 5/6 (水) | 評価 | Percy | | アサインメント 3 提出 / アサインメント 4 公開 |
| 13 | 5/11 (月) | データソース・データセット | Percy | | - |
| 14 | 5/13 (水) | データ処理(フィルタリング等) | Percy | | - |
| 15 | 5/18 (月) | ミドル/ポストトレーニング (SFT/RLHF) | Tatsu | | - |
| 16 | 5/20 (水) | ポストトレーニング (RLVR) | Tatsu | | アサインメント 4 提出 / アサインメント 5 公開 [オプションパート 2] |
| -- | 5/25 (月) | 授業なし(メモリアルデー) | - | - | - |
| 17 | 5/27 (水) | アライメント - マルチモーダリティ | Percy | | - |
| 18 | 6/1 (月) | ゲスト: Daniel Selsam | - | - | - |
| 19 | 6/3 (水) | ゲスト: Dan Fu | - | - | アサインメント 5 提出期限 |
💻 GPU 計算リソース(自主学習用)
自宅環境での学習は可能です。クラウドプロバイダーから GPU リソースを借りる必要があります(2026 年 3 月 28 日時点の B200 単価目安)。
| プラットフォーム | 料金概要 | 特徴 |
|---|---|---|
| Modal (スポンサー企業) | $6.25/時間 月間 $30 の無料クレジット付き | - 実際の計算分のみ課金(アイドル時は請求なし)。 - ローカル開発と大規模実験の切り替えが容易。 - 強く推奨される選択肢です。 |
| Lambda Labs | $6.69/時間 | - |
| RunPod | $4.99/時間 | 最も割安ですが、セットアップの手間あり |
| Nebius | $5.50/時間 (優先取り消し: $3.05) | - |
| Together | $7.49/時間 | - 最少 8 GPU。 - 長期的コミットメントほど割安。 |
⚠️ リソース利用の推奨手順:
- CPU でデバッグ: 実装の正しさを検証するにはまず CPU 環境で行い、デバッグを完了させてください。
- GPU 訓練実行: アサインメントで推奨される GPU の数を確保後、訓練(A1, A4, A5)やベンチマーク(A2)を実行してください。
🤝 学術誠実性声明 (Honor Code)
スタンフォード大学のポリシーを厳守します。
- 協働学習:
- 勉強会は許可されていますが、自身で課題を完了し持ち帰る義務があります。
- グループ作業の際は、アサインメント上部にメンバー名を記載してください。
- AI ツールの使用:
- LLM(ChatGPT など)は、プログラミング質問や概念理解のための「プロンプト」としての利用のみ許可されます。
- 課題そのものを AI に解決させる行為はお嫌われます。
- IDE 内の自動補完(Cursor, Copilot など)は無効化することを強く推奨します(非 AI 系の関数名補完は OK)。
- 既存コードの利用:
- 配布資料は自立しており、サードパーティコードの参照は不要です。
- 特に指定がない限り、既存のコードを直接見ることは避けてください。
📤 課題提出とサポート
提出ルール
- Gradescope での提出: メールでの提出は行われません。期限までに必ず Gradescope を利用してください。
- 再提出: 期限まで何度でも提出可能です。最終的な提出のみが評価されます。
- 不完全な成果も OK: 完成していないものでも提出する方が、何も提出しない方が良いです。
サポートと遅延日の扱い
- 質問窓口: Slack またはコースアシスタントへご連絡ください。
- 遅延日: 各学生に6 個の遅延日付与(アサインメントあたり最大 3 個使用可能)。期限を 24 時間延長します。
- レビュー再申請: 評価に客観的な過ちがある場合、Gradescope を通じて公開から3 日以内に申請可能です。
スポンサー:計算リソース供与の提供、講義のスポンサーである Modal に感謝申し上げます。