言語モデル化から構築する:CS336

2026/06/01 23:10

言語モデル化から構築する:CS336

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

元の要約は実際に非常に強く、すべての品質基準を満たしています。効果的に「from-scratch」の精神、名誉規範の厳格さ、技術的な前提条件、およびタイムラインを捉えています。唯一の軽微な改善点としては、コスト制約のため学生が最初に CPU で開始し、その後 GPU に移行するという点を明示することであり、これは源文における特定の運用指針です。ただし、現在のバージョンは十分です。

最終判断:元の要約を繰り返す。

本文

言語モデル開発の講義概要とカリキュラム

🎓 講義内容

本講義は、単一の汎用システム(LLM)が多様な下流タスクを解決する新しいパラダイムにおける深い理解を目指します。学生一人ひとりが独自の言語モデルを開発する一連のプロセスを実践的に学びます。OS 構築講義からの着想を得たように、以下のような包括的な開発サイクルを体験いただきます:

  • データ収集とクリーニング: 事前学習のためのデータの準備
  • Transformer モデルの構築: 基盤となるアーキテクチャの実装
  • モデルの訓練: トレーニングの実行と最適化
  • 評価: デプロイメント前のモデル性能検証

📋 履修前提条件

本講義は実装に非常に重きを置いた5 ユニットの科目です。十分な時間を割り当ててください。

プログラミング基礎

  • Python 習熟度:
    • 課題のほとんどを Python で記述する必要があります。
    • 他の AI クラスとは異なり、最小限の手引き(スカーリング)のみ提供されます。
    • 書かなければならないコード量は少なくとも 1 桁以上多いため、高いソフトウェア工学スキルが不可欠です。

ドメイン知識と技術要件

  • 深層学習とシステム最適化:
    • PyTorch への深い familiarityが必要です。
    • 複数の GPU で効率的に動作させるため、メモリエアーカイバなどの基本的なシステム概念の知識が求められます。
  • 数学的基礎:
    • 微積分と線形代数(行列・ベクトルの演算理解)。
    • 確率論と統計学(確率分布、平均、標準偏差など)。

機械学習前提知識

以下のコース内容を十分に理解していることが必要です:

  • ML & DL: CS221, CS229, CS230, CS124, CS224N など。

📝 アサインメントとスケジュール

以下は暫定的な期限です。詳細は講義資料を参照してください。

#アサインメントタイトル概要
1バージンズ(基礎)トランスフォーマーの実装トークナイザ、モデルアーキテクチャ、最適化器等を実装し、最小限の言語モデルを訓練します。
2システムプロファイリングと最適化高度なツールによるプロファイリング/ベンチマーク。
FlashAttention2の独自実装(Triton)で Attention を最適化。
メモリエフィシェンシーに配慮した分散バージョンの実装を行います。
3スケーリングスケーリング則の検証各コンポーネントの機能を理解し、トレーニング API でスケーリング法則を検証してモデルのスケーリングを予測します。
4データデータ処理のパフォーマンス向上Common Crawl ダンプデータのフィルタリング、重複除去を行い、事前学習データを最適化します。
5整合性と推論微調整(SFT)と強化学習(RL)数学問題解決能力の付与を目的とした SFT と RL。
オプションパート 2: DPO 等のセーフティ・アライメント手法の実装。

🗓️ 詳細スケジュール(YouTube プレイリスト参照)

#日程テーマレクチャ講義担当コース資料デッドライン / その他
13/30 (月)概要、トークン化Percy
lecture_01.py
-
24/1 (水)PyTorch, リソース計測Percy
lecture_02.py
-
34/6 (月)アーキテクチャ、ハイパーパラメータTatsu
lecture 3.pdf
-
44/8 (水)Attention 代替案、Mixture of ExpertsTatsu
lecture 4.pdf
-
54/13 (月)GPU、TPU ハードウェアTatsu
lecture 5.pdf
-
64/15 (水)カーネル、TritonPercy
lecture_06.py
アサインメント 1 提出 / アサインメント 2 公開
74/20 (月)並列処理Percy
lecture_07.py
-
84/22 (水)並列処理Tatsu
lecture 08.pdf
-
94/27 (月)スケーリング則Tatsu
lecture 09.pdf
-
104/29 (水)推論(Inference)Percy
lecture_10.py
アサインメント 2 提出 / アサインメント 3 公開
115/4 (月)スケーリング則Tatsu
lecture 11.pdf
-
125/6 (水)評価Percy
lecture_12.py
アサインメント 3 提出 / アサインメント 4 公開
135/11 (月)データソース・データセットPercy
lecture_13.py
-
145/13 (水)データ処理(フィルタリング等)Percy
lecture_14.py
-
155/18 (月)ミドル/ポストトレーニング (SFT/RLHF)Tatsu
lecture 15.pdf
-
165/20 (水)ポストトレーニング (RLVR)Tatsu
lecture 16.pdf
アサインメント 4 提出 / アサインメント 5 公開 [オプションパート 2]
--5/25 (月)授業なし(メモリアルデー)---
175/27 (水)アライメント - マルチモーダリティPercy
lecture_17.py
-
186/1 (月)ゲスト: Daniel Selsam---
196/3 (水)ゲスト: Dan Fu--アサインメント 5 提出期限

💻 GPU 計算リソース(自主学習用)

自宅環境での学習は可能です。クラウドプロバイダーから GPU リソースを借りる必要があります(2026 年 3 月 28 日時点の B200 単価目安)。

プラットフォーム料金概要特徴
Modal
(スポンサー企業)
$6.25/時間
月間 $30 の無料クレジット付き
- 実際の計算分のみ課金(アイドル時は請求なし)。
- ローカル開発と大規模実験の切り替えが容易。
- 強く推奨される選択肢です。
Lambda Labs$6.69/時間-
RunPod$4.99/時間最も割安ですが、セットアップの手間あり
Nebius$5.50/時間
(優先取り消し: $3.05)
-
Together$7.49/時間- 最少 8 GPU。
- 長期的コミットメントほど割安。

⚠️ リソース利用の推奨手順:

  1. CPU でデバッグ: 実装の正しさを検証するにはまず CPU 環境で行い、デバッグを完了させてください。
  2. GPU 訓練実行: アサインメントで推奨される GPU の数を確保後、訓練(A1, A4, A5)やベンチマーク(A2)を実行してください。

🤝 学術誠実性声明 (Honor Code)

スタンフォード大学のポリシーを厳守します。

  • 協働学習:
    • 勉強会は許可されていますが、自身で課題を完了し持ち帰る義務があります。
    • グループ作業の際は、アサインメント上部にメンバー名を記載してください。
  • AI ツールの使用:
    • LLM(ChatGPT など)は、プログラミング質問や概念理解のための「プロンプト」としての利用のみ許可されます。
    • 課題そのものを AI に解決させる行為はお嫌われます
    • IDE 内の自動補完(Cursor, Copilot など)は無効化することを強く推奨します(非 AI 系の関数名補完は OK)。
  • 既存コードの利用:
    • 配布資料は自立しており、サードパーティコードの参照は不要です。
    • 特に指定がない限り、既存のコードを直接見ることは避けてください

📤 課題提出とサポート

提出ルール

  • Gradescope での提出: メールでの提出は行われません。期限までに必ず Gradescope を利用してください。
  • 再提出: 期限まで何度でも提出可能です。最終的な提出のみが評価されます。
  • 不完全な成果も OK: 完成していないものでも提出する方が、何も提出しない方が良いです。

サポートと遅延日の扱い

  • 質問窓口: Slack またはコースアシスタントへご連絡ください。
  • 遅延日: 各学生に6 個の遅延日付与(アサインメントあたり最大 3 個使用可能)。期限を 24 時間延長します。
  • レビュー再申請: 評価に客観的な過ちがある場合、Gradescope を通じて公開から3 日以内に申請可能です。

スポンサー:計算リソース供与の提供、講義のスポンサーである Modal に感謝申し上げます。

同じ日のほかのニュース

一覧に戻る →

2026/06/02 1:31

最新のインスタグラムの「 exploits(バグ)」で最もユニークなのは私がこれまでに見た中で一番奇妙なものです。

## 日本語翻訳: 洗練されたセキュリティ上の不備により、ハッカーらは警報を触発することなく Instagram のアカウントを乗っ取り、@obamawhitehouse や @ocmssf のような高価値なユーザー名を対象に Meta の「Takeover Flow」を利用した。攻撃者は被害者のユーザー名を使用してプロセスを開始し、VPN または代理サーバーを介して請求をアカウントの報告された都市の近くから経路化することで、位置情報に基づくセキュリティを回避した。彼らは Meta の AI サポートチャットボットに連絡し、アカウントが侵害されたことをごりごしくれ、検証コードを受信するメールアドレスを任意で指定することを要求した。Instagram のシステムは、この要求されたメールアドレスが以前にそのアカウントと関連付けられていたかどうかを検証しなかった。AI がコードを送信すると、それはパスワードリセットリンクのトリガーとしての検証に使われ、完全な所有権が付与された。Meta のサポート AI はビデオでの自己撮影(生真面目)を身分証明として要求する可能性があるが、ターゲットのフィードから単純に AI でアニメーション化された公開写真は、このチェックを成功裡に回避した。回復フローは、そのリクエストを「本当の」所有者による完全なアカウントリセットとして扱い、2FA を完全に回避し、メール、テキスト、またはプッシュ通知を触発することなく進んだ。正当なユーザーのセッションは沈黙的に破棄され、連絡先情報が攻撃者の情報で置換されたため、標準的なチャネルでの回復は不可能になった。ブラックマーケットの Telegram グループが「アカウント乗っ取り」サービスを提供し始め、高価値なハンドルを利活用した。この脆弱性は数週間、あるいは数ヶ月間 Meta が修復するまで稼働していたと報告されており、その地下市場は一瞬で消え失せた。実験的な AI サポートグループに参加しているユーザーは、自動化されたアシスタンスを手動で無効化できないため、引き続き曝されている。この事象は、将来的な回復プロセスが人工知能や位置情報に基づく回避技術によって容易に操作されるのを防ぐためには、自動的なりすましおよびリモートスプーフィング攻撃に対するより強力な検証プロトコルの強化を強く示唆している。

2026/06/02 5:40

デバッグプロジェクト

## 日本語訳: Debug は、地球上で最も致命的な動物の一つである*Aedes aegypti*蚊の個体群を安全に抑制し、デング熱、ジカ熱、黄熱病、チクングニア熱といった致死性の疾患に対する革命的な対策を開拓しています。化学物質や遺伝子改変に依存する従来のアプローチとは異なり、当社の技術は自然存在する細菌*Wolbachia*を運ぶ雄性不稔の雌蚊を放出します。この生物は、これらの雄蚊が野生の雌蚊と繁殖することを妨げ、毒物を導入することなく個体群を自然に減少させます。吸血せず病気を媒介しない雄蚊であるため、「良い虫」としてこれを放出することは、立ち枯れた水の撤去や効果低下しつつ毒性が強まり過ぎる殺虫剤の使用といった陳腐な手法の持続可能な代替手段を提供します。現在、ほとんどの蚊媒感染症には効果的なワクチンがないことを考慮すると、この解決策は不可欠な新たなアプローチとなります。科学専門知識を国際パートナーと組み合わせ、Debug は地域コミュニティおよび政府との協力のもとで放出規模の拡大を目指しています。その最終的な影響は大きいです:刺す蚊の数を減らして病気の伝播率を下げ、安全でスケーラブルな生物学的制御戦略を通じて数百万人の人々がより長く健康な生活を送るのを支援します。 ## 元テキスト: ## Summary: Debug is pioneering a revolutionary method to combat deadly diseases like dengue, Zika, yellow fever, and chikungunya by safely suppressing populations of *Aedes aegypti* mosquitoes, which are among the deadliest animals on Earth. Unlike traditional approaches relying on chemicals or genetic modification, their technology releases sterile male mosquitoes carrying the natural bacterium *Wolbachia*. This organism prevents these males from reproducing with wild female counterparts, naturally causing population decline without introducing toxins. Since male mosquitoes do not bite or spread disease, releasing these "good bugs" offers a sustainable alternative to outdated methods like clearing standing water and using pesticides that are losing efficacy or becoming too toxic. Given that most mosquito-borne illnesses currently lack effective vaccines, this solution provides a vital new approach. By leveraging scientific expertise alongside international partners, Debug aims to scale up releases in collaboration with local communities and governments. The ultimate impact is significant: reducing biting mosquitoes to lower disease transmission rates, thereby helping millions of people live longer, healthier lives through a safe and scalable biological control strategy.

2026/06/02 1:41

スタンフォード大学CS336コース用 AI エージェントガイドライン

## 日本語翻訳: 本ドキュメントは、スタンフォード大学の CS336 コースにおいて AI コーディングアシスタントが従う厳格な倫理的境界線を設定する:すなわち、これらは何らかのコードを書いたり課題を直接解決したりしてはならない。むしろ、これらのエージェントは、学生による学習体験を維持することを目的とした教学補助手段としてのみ機能すべきである。本コースが手動作業としての Python と PyTorch の実装に大きく依存し、かつ支援枠組みが限られていることを考慮すると、AI の主たる役割は、公式の講義資料とデバッグツールの活用を通じて背後にある理論を説明し、エッジケースにおけるロジックを検証し、学生を導くことにある。 ユーザーから直接の修正、TODO 節の完了、またはリポジトリへの編集といった要請を受けた場合、エージェントはその要求を拒否し、概念の説明や、shape アサーションやアブレーションなどの健全性チェックを提案することで方向転換しなければならない。この方針は、学生がトラン스포ーマー、最適化アルゴリズム、トレーニングループなど複雑なコンポーネントの習得という核心的学習目標を回避することを防止するものである。システムはこの方針を強制するためには、明確な質問を投げかけ、公式ドキュメントを参照し、単に「如何做るか」を届けるのではなく、技術的決定の背後にある「なぜか」を説明することで、デバッグと概念的理解を通じて真の能力を確保するよう求める。