
2026/11/15 0:04
Show HN: DeepSeek V3 を純粋な Jax で約 200 行の実装
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
サマリー:
最も重要な飛躍は、MacBook Air M5(24 GB RAM)において、公開ドメインの探偵小説(ダシエル・ハメットらを含む)を完全从头で事前学習し、高度な外部深層学習フレームワークや大規模計算リソースに依存せず、純粋な JAX コード 190 ラインだけで 3,620 万パラメータの DeepSeek-V3 言語モデルを成功裏に実装した点です。トレーニングプロセスでは、マルチヘッドラテンントエーション(MLA)、デカプールド・ローク(Decoupled RoPE)、DeepSeek モーフィズム設計(1 シャアド+16 ルート Experts)、そして補助ロスフリーのバランスニングといった専門アーキテクチャ技術を採用し、約 2.6 時間(〜9,800 万トークン、〜4.5 エポック)で完了し、検証ロスは 3.51 です。この軽量アプローチは、高レベルの AI 機能が低性能ハードウェアを持つ個人にもアクセス可能であることを示しています;具体的には、
--config small を使用すると、8–16 GB RAM の Mac で削減版(4 レイヤー、8 Experts)を CPU 構成で動作可能です。RLHF や FP8 トレーニングといった高度な機能は明示的に除外されましたが、リリースにはユニークなチェックポイントファイル(ckpt.pkl)が含まれており、これは Python のピクルス形式であり、読み込まれた際にコードを実行でき、JAX バージョン 0.4.34 と jax-metal 0.1.1 との互換性のみを保証します。データセットは、Standard Ebooks と Project Gutenberg(CC0)から取得した 207 の書籍(〜2,169 万トークン)で構成され、テキストに対して特定の編集が適用されています。本プロジェクトは、機械学習の基礎を探究する愛好家にとってコンパクトかつ再現可能な実験として実効的な AI 開発が可能であることを証明しており、デフォルト生成設定は温度 0.8、トップ・K 50、およびオプションのマルチトークン予測モジュールを提供します。本文
DeepSeek-V3 を純粋な JAX で実装する:190 行のアーキテクチャ
DeepSeek-V3 の技術報告に基づく、MacBook Air M5上でゼロからプリトレーニングされたモデルです。 Flax、Equinox、PyTorch といったフレームワークは一切使用せず、純粋な JAXと
jax-metal を採用しています。パラメータは単なる配列の辞書(dict)で構成され、モデル全体が deepseek_v3.py の 1 つのファイル内で関数として実装されています。
詳細な技術レポートやコード解説は、「DeepSeek V3 を 190 行の純粋な JAX で実装(図付き)」をご参照ください。
1. 実装に含まれるアーキテクチャ要素
以下の表は、論文からのアイデアがどのように 190 行のコードに統合されているかを示しています。
| 機能 | 役割と実装詳細 | コード実装箇所 |
|---|---|---|
| マルチヘッド潜在注意力 (MLA) | トークンごとの完全な KV キャッシュではなく、小さな**潜在変数(latent variables)**のみをキャッシュします(レイヤーあたりトークンの数:480 → 144 削減)。 | , |
| 独立した RoPE | すべてのヘッドで共有される回転位置エンコーディング(RoPE)を、圧縮された潜在変数の外側に保持します。 | , , |
| DeepSeekMoE | 常時動作する共有エキスパート 1 つ + トークンごとにトップ K にルーティングされるエキスパート 16 つです。 | , |
| バランス調整(バイアス) | 各エキスパートごとのバイアスを追加し、アイドル状態のエキスパートへのルーティングを促します。これは選択確率そのものを変更するのではなく、ルーティング行動を変えることで間接的に負荷を均等化します。 | , |
| シーケンスごとのバランスロス | 論文記載の補完的なロス機能($\alpha = 1\text{e-}4$)です。 | |
| マルチトークン予測 (MTP) | 次のトークンの予測に加え、追加のモジュールによる予測をロス関数内で重み $\lambda = 0.3$ で考慮します。 | , |
| 学習と生成設定 | f32 のマスター重みで bf16 計算を実行;MLA キャッシュを使用したプリフィルとデコードを行います。 | , |
学習結果の要約
MacBook Air M5(24 GB RAM)でのデフォルト設定実行結果です。
- モデル構成: パラメータ合計 36.2M(アクティブパラメータ: 13.6M トークンあたり)。
- 学習データ: ハメット作を 3 倍繰り返して計 2,070 書籍、学習トークン 2,170 万。
- 学習効率: ステップ 12,000(約 9,800 万 トークン)で完了。所要時間約 2.6 時間。
- 推論速度: メディアンで約1 万 7 千 トークン/秒。
- 損失低下: ステップ 250 で検証ロスが 5.02 から3.51へ減少。
エキスパート負荷分布(ステップ 2,000)
| 設定 | エキスパートあたりの負荷率 |
|---|---|
| バイアス適用時 | 5.7% 〜 6.9%(均等な 6.25% に近づける) |
| バイアス適用なし | 0.09% 〜 18.6%(極端な偏りが発生) |
結論: バランス調整機能をオン・オフのどちらにしても検証ロス(3.921 vs 3.923)は同一です。論文が主張する通り、コストをかけずにバイアスを適用することでエキスパート負荷を均等化できます。
モデル生成サンプル プロンプト: "The fog came in off the" 出力:"The fog came in off the bay, and the great trees were spreading and the stars were shining."
※これは本格的な言語モデルではなく、アーキテクチャのデモです。詳細はレポートをご確認ください。
2. 学習済みモデルを試す(v1.0 リリース)
公開された実行で使用された正確なチェックポイントとデータを入手できます。
インストールとダウンロード
mkdir -p data runs/main curl -L -o runs/main/ckpt.pkl \ https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl # 約 138 MB curl -L -o data/tokenizer.json \ https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/tokenizer.json
学習した後に生成を試すコマンド例:
.venv/bin/python sample.py --prompt "The fog came in off the" --num 3
注意: チェックポイントは Python の
pickle フォーマットであり、読み込まれるとコードが実行されます。必ず信頼できるソースからのチェックポイントのみを使用してください。
3. 再現方法(環境構築からトレーニングまで)
Apple Silicon Mac、Python 3.12、および
uv が必須です。公開実行は 24 GB メモリを使用しました。CPU での実行も可能です。
ステップ 1: インストールと依存関係
git clone https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax.git && cd deepseek-v3-jax uv venv -p 3.12 .venv uv pip install --python .venv/bin/python -r requirements.txt
重要:
requirements.txt のバージョンはすべて固定されています。特に、jax-metal 0.1.1 は jax==0.4.34 とのみ互換性がありますので、JAX をアップグレードしないようご注意ください。
ステップ 2: 環境チェック
# テスト実行(39 件通過確認) JAX_PLATFORMS=cpu .venv/bin/pytest tests.py -q # オプション:Apple Silicon の jax-metal サポート内容の確認 .venv/bin/python smoke_metal.py
注意:
smoke_metal.py において「grad through 2-axis contraction」は失敗します。これは jax-metal 0.1.1 における予期された挙動であり、モデルコードはこの問題を回避するように設計されています。
ステップ 3: データセットの構築
以下のコマンドでデータ準備スクリプトを実行します。207 の書籍(約 120 MB)をダウンロードし、クリーンアップしてトナイザーを学習させます。
.venv/bin/python prepare_data.py
出力結果(例):
train: 211 docs, 83.4M chars, 21.69M tokens val: 4 docs, 1.1M chars, 0.30M tokens
データの整合性確認
公開された実行で使用されたデータのハッシュ値(sha256)は以下の通りです。
:data/train.bind37aca97e707bb81b6e4d266cc1adfd1f3e3556457c6eb724e495118a734e0bb
:data/val.binb7ac285b115e6793b5d36aa5b4bc6e81a5fccfc7af0908a306d3828ebca9c31c
:data/tokenizer.jsonc5a142b4006a967c880dda44ad792719d53c16d947da3b6c2332d6132d9967cc
注意: 書籍ソースによっては再発行されたファイル(Project Gutenberg)が存在するため、完全な同一ビットの再現は難しい場合があります。しかし、トークン数は一致し、学習挙動には影響ないと判断されます。 完全な同一データを再現する場合は、以下のコマンドで公開データを上書きダウンロードしてください。
mkdir -p data for f in train.bin val.bin tokenizer.json; do curl -L -o data/$f https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/$f; done
ステップ 4: トレーニング実行
メインの実行と、バランス調整(バイアス)の有無によるアブレーションを以下のように実行できます。
# メイン実行 (ステップ 12k, 約 2.6 h) .venv/bin/python train.py # バランス調整ありのアブレーション (ステップ 2000) .venv/bin/python train.py --steps 2000 --out runs/bias_on # バランス調整なしのアブレーション (ステップ 2000) .venv/bin/python train.py --steps 2000 --out runs/bias_off --no-bias
出力ファイル: 各
runs/ フォルダには、評価時のロスやエキスパート負荷、速度などが記録された metrics.jsonl とチェックポイント ckpt.pkl が保存されます。シード値は固定されていますが、GPU 計算上のビット単位の違いにより数値の完全な一致は期待できません。
ステップ 5: テキスト生成
学習済みモデルでテキストを生成します。
.venv/bin/python sample.py --prompt "The fog came in off the" --num 3
デフォルト設定: 温度 0.8、Top-k 50、新規トークン数 300。(
--temp, --top-k, --n で変更可能)
ステップ 6: グラフの作成
トレーニングログからグラフを生成します。
# メインおよびアブレーション結果からの図面化 (runs/main, runs/bias_on, runs/bias_off が必須) .venv/bin/python plots.py # CPU で他のチャートを作成 JAX_PLATFORMS=cpu .venv/bin/python charts.py
出力は
post/figures/ に配置されます。トレーニングなしでログを再使用するには、リリース版の metrics-*.jsonl を各フォルダに配置します。
4. CPU での実行
すべて
jax-metal を使わずに動作しますが、速度が大幅に低下するため小規模な設定が必要です。
JAX_PLATFORMS=cpu .venv/bin/python train.py --config small
--config small はレイヤー 6 → 4、エキスパート 16 → 8、Top-k 4 → 2、コンテキスト長 256 → 128 の設定です。8〜16 GB RAM の Mac でも動作を確認できます。
5. ファイル構成とコード行数の定義
ファイル一覧
| ファイル | 内容 |
|---|---|
| コアモデル実装(設定、MLA、MoE、バランス調整、MTP、ロス関数、学習ステップ、キャッシュ付き生成)。計 190 行。 |
| 学習ループ、AdamW オプティマイザー、評価、チェックポイント保存、ロギング。 |
, | コーパスダウンロード、クリーニング、トライナイゼーション。 |
| チェックポイントからのテキスト生成。 |
| 因果的マスキング、キャッシュ動作、ルーティングロジック、NaN処理などのテスト(39 件)。 |
| Apple GPU (Metal) での JAX オペレーション検証。 |
, | ログやチェックポイントからの可視化。 |
| レポートに用いる図表、グラフ、スクリーンショット。 |
「190 行」の定義
この「190 行」とは、コメントや空行を除外した
deepseek_v3.py の実行数を指します。確認コマンド例:
tail -n +5 deepseek_v3.py | grep -cvE '^\s*(#|$)' # 結果: 190
シンプル化と制限事項(Trade-offs)
- 高密度 MoE: すべてのエキスパートが各ステップで動作し、未選択のものはゼロに設定されます。疎配列ディスパッチや並列化はありません。
- MLA の重量吸収なし: 潜在変数は明示的に再圧縮されており、可読性は高まりますが推論速度は若干低下します。
- 含まれていない機能: FP8 学習、DualPipe、ノード制限型ルーティング、YaRN コンテキスト拡張、およびトレーニング後の最適化(LoRA など)は一切含まれません。
- スケーリング: パラメータ数は 36.2M(対照:671B)、レイヤー数 6(対照:61)、コンテキスト長 256 トークンです。
6. データとライセンス情報
- データソース: すべての学習テキストは米国でパブリックドメインです(ダシエ・ハメット作品、Project Gutenberg の犯罪小説など)。詳細は
を参照。sources.txt- 注: 米国外におけるパブリックドメイン判定は異なります。
- ライセンス:
- コード:MIT
- 学習テキスト:米国にてパブリックドメイン(上記のデータソースを参照)。
引用文献: DeepSeek-AI, DeepSeek-V3 Technical Report, 2024.