Japanese Translation:

本稿では、ゼロから環境設定を開始し、Python および PyTorch を用いて高度な推論モデルを構築する方法を教える 8 部構成の 11 時間の動画シリーズを紹介する。これらのモデルは標準的な LLM よりも大幅に高性能であり、検証可能な報酬を取り入れたポストトレーニング手法やインフェレンススケールアップにより達成されている。カリキュラムでは、事前学習済みの Qwen3 0.6B モデルをベースとして使用し、強化学習（RLVR）、教師モデルからの蒸留（例：DeepSeek R1）、MATH-500 データセットに対する数学回答検証器等の独自ツールを用いた評価といった技術を実装する。具体的なモジュールには、環境設定、検証器の構築、インフェレンススケールアップ（自己一貫性投票を含む）、自己改善ループ、Group Relative Policy Optimization（GRPO）を用いた RLVR 訓練、KL ロスなどの訓練指標の解析が含まれる。「Build a Reasoning Model (From Scratch)」という本によって裏付けられ、これらのリソースは、文脈管理やツール利用を制御するアクセスしやすい「エージェントハネス」を通じて、コーディングや旅行予約といった複雑なタスクを実行できる洗練された AI エージェントを作成することを学習者に導く。

「推論モデルをゼロから構築する」動画シリーズ公開：LLM エージェントの心臓部を理解しよう

過去 2 年間にわたり Ahead of AI を通じて推論モデルに関する多くの記事を執筆してきました。特に近年は、現代の大型言語モデル（LLM）における推論努力レベルを制御する機構についても解説しています。推論モデルは今でも極めて重要であり、現在の主流 LLM のほぼ全てが推論モデルまたは推論モードを提供しています。

本シリーズでは、その仕組み——**インフェレンススケーリング、強化学習、蒸留（ディスティルション）**など——を PyTorch を用いて地盤から上に積み上げて実装します。これは、物事が本当にどのように機能するかを理解するのに最も効果的な方法です。

📅 動画シリーズの概要とアクセス方法

今月初頭、蓄積した関連講義を撮影・録画し共有します。以下の**8 つのコーディング動画（全 11 時間分）**をご提供します。

内容: 事前学習済みの LLM を扱い、Python および PyTorch を用いて評価・改善の実装を行います。
対象: 「Coding LLMs from the Ground Up」コースを修了された方だけでなく、単独でご覧いただくことも可能です（必須条件ではありません）。

現在著述中
短期間の休息後、来月にはさらに興奮に満ちた LLM 関連の研究まとめをお届けする予定です。その間、皆様とともにコーディングを楽しんでください。

🔗 追加情報：推論モデル vs エージェント・ハネス

多くのご質問いただいた「推論モデルと AI エージェントの関係」について、動画開始前に短いセクションを設けています。

推論モデル: 検証可能な報酬を用いた強化学習による追加的な事後学習（オプションでインフェレンススケーリング適用）を加え、困難な問題を解決する「エンジン」。
エージェント・ハネス: エンジンを取り巻くソフトウェアまたはツールフレームワーク。LLM/推論モデルに対してツールの利用権を与え、コンテキスト管理を行う機構。「拡張機能」とも言える存在です。

図 1：従来の LLM、推論モデル、およびエージェント・ハネスに対するエンジンによる比喩

図 1: エンジンとしてのモデルと、それを拡張するハネスの関係（出典：「コーディングエージェントの構成要素」）。

図 2：本シリーズで取り扱うトピックの概要

図 3：『Build a Reasoning Model (From Scratch)』印刷版からのランダムな抜粋

📚 おすすめのリソース

書籍: 『Build a Reasoning Model (From Scratch) / 推論モデルをゼロから構築する』
- Manning または Amazon で入手可能（印刷版はカラー仕様）。
- 各章の解説を読み、ビデオと共にコードを実行し、演習を試みるアプローチが推奨されます。
書籍: 『Build a Large Language Model (From Scratch) / 大規模言語モデルをゼロから構築する』
- 前提知識として有益ですが、必須ではありません。
記事: 「Components of a Coding Agent / コーディングエージェントの構成要素」（Substack 掲載）。
プレビューコース: LinkedIn Learning の「AI Reasoning Models」コース（約 90 分）。
- リンク経由で 24 時間限り無料で視聴可能です（プレミアム不要）。

💻 環境構築と前提条件

前提知識・技術スタック

言語: Python, PyTorch
推奨: 推論に関する教材はスタンドアロンで設計されていますが、以前の LLM 構築シリーズの知識があると有利です。
計算資源:
- 初期段階 (CPU): テキスト生成・評価例については CPU でも問題ありません。
- 学習段階 (GPU): 後期の学習実験では、GPU を使用することで大幅に作業が容易になります。

セットアップ手順（動画 1 で詳細解説）

Python および PyTorch の依存関係インストール (uv を利用)
ハードウェア選択と CUDA / Apple Silicon のサポート確認
VS Code を用いた遠隔 GPU の利用と環境上のトラブルシューティング

🎬 動画シリーズ詳細

Video 1: Setup instructions / セットアップ手順

動作可能なベースモデルが必要です。ゼロからトレーニングするのは本書の規模を超えるため、事前学習済みの Qwen3 0.6B モデルを読み込みます。

ストリーミングテキストジェネレーターの実装（KV キャッシングやモデルコンパイルによる効率化）。
テンソル形状、logit、次トークン予測の解説。
グレディーデコードと生成速度の計測。

📋 動画 1 のトピック

✅ テキストをトークンへエンコード・デコードのプロセス
✅ Qwen3 ウェイトのダウンロードとモデル読み込み
✅ グレディーデコードとストリーミングテキスト生成の実装 (
```
greedy_decode
```
)
✅ シーケンス終了トークンの扱いと生成速度の計測
✅ KV キャッシュによるキー・バリューの再利用実装
✅
```
torch.compile
```
と KV キャッシングの組み合わせによるハードウェア性能比較

Video 2: Chapter 2 code / 第 2 章コード

**数学解答検証器（verifier）**を段階的に構築し、MATH-500 データセットを用いたモデル評価に活用します。後半では RLVR（検証可能な報酬に基づく強化学習）の報酬シグナルとしても機能します。

解答抽出 → 正規化 → 数学的同等性の確認
MATH-500 用の評価ループと解答グレーダーの実装。

📋 動画 2 のトピック

✅ 検証器の概要とその LLM 評価手法への統合
✅ 解答検証を RLVR の報酬シグナルとして再利用する仕組み（第 6 章参照）
✅ 最終解答抽出、正規化、数学的同等性確認のフロー全体像
✅ ベースモデルと推論モデルを MATH-500 上で比較

Video 3: Chapter 3 code / 第 3 章コード

モデルウェイト変更なしで回答を改善する方法を探求します。ChatGPT などの標準的実践であるインフェレンススケーリングを実装・評価します。

```
temperature
```
スケーリング、多項分布サンプリング、
```
top-p
```
フィルタリングによる多様な応答生成。
自己一貫性（Self-Consistency）: 多数の候補から統合し多数決投票を行う手法。
精度と追加計算コストのトレードオフ検討。

📋 動画 3 のトピック

✅ チェイン・オブ・スゴート（Chain-of-Thought）プロンプトによる入門
✅ 多様な回答生成:
```
temperature
```
スケーリング & 多項分布サンプリングの実装
✅ 品質制御のための top-p フィルタリング追加
✅ 自己一貫性を活用した候補解答の統合（多数決）
✅ MATH-500 の精度に対する追加計算コストの評価

Video 4: Chapter 4 code / 第 4 章コード

複数の回答を比較するスコアリング関数を構築し、自己改良ループ（self-refinement loop）を実装します。直前の講義でのタイブレーキ処理の延長です。

トークンおよびシーケンスの log 確率計算（後続の強化学習で重要）。
モデルによる回答批評と改訂を試みるループ実装。

📋 動画 4 のトピック

✅ 複数の回答比較およびタイブレーキにスコアリング関数を利用する方法
✅ シンプルなヒューリスティック・スコアーの実装
✅ トークン確率とシーケンス尤度の計算（log 確率の活用による数値的安定性向上）
✅ 自己改良ループ: 批評および改訂済み回答の生成実装
✅ MATH-500 における自己改良の評価

Video 5: Chapter 5 code / 第 5 章コード

検証可能な報酬に基づく強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）の実装です。簡略化された Group Relative Policy Optimization (GRPO) を採用。

回答グループを生成 → 検証器でスコアリング → 相対的報酬によるモデルウェイト更新。
RLHF と RLVR の比較・議論。

📋 動画 5 のトピック

✅ 推論トレースの生成（解答長さと問題解決能力の関係性理解）
✅ 検証器スコアを報酬および相対的アドバンテージに変換する処理
✅ シーケンス log 確率と簡略化された GRPO ロス関数の計算
✅ トレーニングループの構築（ロギング、チェックポイント保存）
✅ チェックポイント評価、学習安定性およびメモリ要件の確認

Video 6: Chapter 6 code / 第 6 章コード

トレーニングループを実装した後の詳細な分析です。追加メトリクスを導入し、検査・解析を行います。

エントロピー、アドバンテージ統計量、クリップされたポリシー比率、KL ロス項の追跡。
トレーニングログと評価結果のレビュー。

📋 動画 6 のトピック

✅ 長期トレーニング実験の実行とそのログ解釈
✅ アドバンテージとエントロピーの追跡によるトレーニング挙動理解
✅ ポリシーロスにおけるクリッピングの実装と効果分析
✅ KL ロス項の追加と報酬ハッキングに関する議論
✅ 簡略化された KL 形式付けの限界についての理解
✅ MATH-500 におけるチェックポイント比較および GRPO 研究への探求

Video 7: Chapter 7 code / 第 7 章コード

強力な教師モデルから学ぶアプローチ：**蒸留（Distillation）**を適用します。シリーズの代替案として、強化学習ではなく蒸留を通じて推論能力を発達させます。

ソフト蒸留・ハード蒸留、オンポリシー・オフポリシー蒸留の比較。
DeepSeek R1 を用いた MATH データセット向けの教師モデル生成解答収集。

📋 動画 7 のトピック

✅ 各種蒸留アプローチ（ソフト/ハード、オン/オフポリシー）の比較
✅ DeepSeek R1による MATH データセット向け解答の作成と収集
✅ トークナイゼーションと学習・検証・テスト分割を含むデータセット準備
✅ 回答トークンの log 確率計算とクロスエントロピーロスの理解
✅ 監督学習ループの実装およびトレーニング・検証ロス追跡
✅ MATH-500 における蒸留結果の比較

Video 8: Chapter 8 code / 第 8 章コード（まとめと演習）

独自の実験を試みることを推奨します。サンプリング設定の変更や、失敗した回答の検査など、tinkering（実験・工夫）を楽しんでください。

ビデオと共に完全な解説図解および演習に取り組む場合は、**『Build a Reasoning Model (From Scratch)』**をご参照ください。

📋 動画 8 のトピック

✅ 独自の実験: サンプリング設定変更や失敗回答の検査
✅ 演習における提案に基づくアイデアのバリエーション試し
✅ 書籍との連動による深い学習体験（Manning/Amazon での購入推奨）

本動画シリーズへの導入と Ahead of AI のサポートに心より感謝申し上げます。
著者は短期間ですが休息に入り、来月に新たな LLM 研究記事シリーズでお会いする予定です。その間は、楽しい視聴と実験をお楽しみください！

セバスチャン・ラスカによるゼロから始める推論モデル構築ビデオコース