Show HN: DeepSeek V3 を純粋な Jax で約 200 行の実装

2026/11/15 0:04

Show HN: DeepSeek V3 を純粋な Jax で約 200 行の実装

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

サマリー:

最も重要な飛躍は、MacBook Air M5(24 GB RAM)において、公開ドメインの探偵小説(ダシエル・ハメットらを含む)を完全从头で事前学習し、高度な外部深層学習フレームワークや大規模計算リソースに依存せず、純粋な JAX コード 190 ラインだけで 3,620 万パラメータの DeepSeek-V3 言語モデルを成功裏に実装した点です。トレーニングプロセスでは、マルチヘッドラテンントエーション(MLA)、デカプールド・ローク(Decoupled RoPE)、DeepSeek モーフィズム設計(1 シャアド+16 ルート Experts)、そして補助ロスフリーのバランスニングといった専門アーキテクチャ技術を採用し、約 2.6 時間(〜9,800 万トークン、〜4.5 エポック)で完了し、検証ロスは 3.51 です。この軽量アプローチは、高レベルの AI 機能が低性能ハードウェアを持つ個人にもアクセス可能であることを示しています;具体的には、

--config small
を使用すると、8–16 GB RAM の Mac で削減版(4 レイヤー、8 Experts)を CPU 構成で動作可能です。RLHF や FP8 トレーニングといった高度な機能は明示的に除外されましたが、リリースにはユニークなチェックポイントファイル(
ckpt.pkl
)が含まれており、これは Python のピクルス形式であり、読み込まれた際にコードを実行でき、JAX バージョン 0.4.34 と
jax-metal 0.1.1
との互換性のみを保証します。データセットは、Standard Ebooks と Project Gutenberg(CC0)から取得した 207 の書籍(〜2,169 万トークン)で構成され、テキストに対して特定の編集が適用されています。本プロジェクトは、機械学習の基礎を探究する愛好家にとってコンパクトかつ再現可能な実験として実効的な AI 開発が可能であることを証明しており、デフォルト生成設定は温度 0.8、トップ・K 50、およびオプションのマルチトークン予測モジュールを提供します。

本文

DeepSeek-V3 を純粋な JAX で実装する:190 行のアーキテクチャ

DeepSeek-V3 の技術報告に基づく、MacBook Air M5上でゼロからプリトレーニングされたモデルです。 Flax、Equinox、PyTorch といったフレームワークは一切使用せず、純粋な JAXと

jax-metal
を採用しています。パラメータは単なる配列の辞書(dict)で構成され、モデル全体が
deepseek_v3.py
の 1 つのファイル内で関数として実装されています。

詳細な技術レポートやコード解説は、「DeepSeek V3 を 190 行の純粋な JAX で実装(図付き)」をご参照ください。

1. 実装に含まれるアーキテクチャ要素

以下の表は、論文からのアイデアがどのように 190 行のコードに統合されているかを示しています。

機能役割と実装詳細コード実装箇所
マルチヘッド潜在注意力 (MLA)トークンごとの完全な KV キャッシュではなく、小さな**潜在変数(latent variables)**のみをキャッシュします(レイヤーあたりトークンの数:480 → 144 削減)。
mla
,
init_cache
独立した RoPEすべてのヘッドで共有される回転位置エンコーディング(RoPE)を、圧縮された潜在変数の外側に保持します。
rope
,
apply_rope
,
mla
DeepSeekMoE常時動作する共有エキスパート 1 つ + トークンごとにトップ K にルーティングされるエキスパート 16 つです。
route
,
moe
バランス調整(バイアス)各エキスパートごとのバイアスを追加し、アイドル状態のエキスパートへのルーティングを促します。これは選択確率そのものを変更するのではなく、ルーティング行動を変えることで間接的に負荷を均等化します。
update_bias
,
route
シーケンスごとのバランスロス論文記載の補完的なロス機能($\alpha = 1\text{e-}4$)です。
seq_balance_loss
マルチトークン予測 (MTP)次のトークンの予測に加え、追加のモジュールによる予測をロス関数内で重み $\lambda = 0.3$ で考慮します。
forward
,
loss_fn
学習と生成設定f32 のマスター重みで bf16 計算を実行;MLA キャッシュを使用したプリフィルとデコードを行います。
make_train_step
,
generate

学習結果の要約

MacBook Air M5(24 GB RAM)でのデフォルト設定実行結果です。

  • モデル構成: パラメータ合計 36.2M(アクティブパラメータ: 13.6M トークンあたり)。
  • 学習データ: ハメット作を 3 倍繰り返して計 2,070 書籍、学習トークン 2,170 万。
  • 学習効率: ステップ 12,000(約 9,800 万 トークン)で完了。所要時間約 2.6 時間。
  • 推論速度: メディアンで約1 万 7 千 トークン/秒。
  • 損失低下: ステップ 250 で検証ロスが 5.02 から3.51へ減少。

エキスパート負荷分布(ステップ 2,000)

設定エキスパートあたりの負荷率
バイアス適用時5.7% 〜 6.9%(均等な 6.25% に近づける)
バイアス適用なし0.09% 〜 18.6%(極端な偏りが発生)

結論: バランス調整機能をオン・オフのどちらにしても検証ロス(3.921 vs 3.923)は同一です。論文が主張する通り、コストをかけずにバイアスを適用することでエキスパート負荷を均等化できます。

モデル生成サンプル プロンプト: "The fog came in off the" 出力:"The fog came in off the bay, and the great trees were spreading and the stars were shining."

※これは本格的な言語モデルではなく、アーキテクチャのデモです。詳細はレポートをご確認ください。

2. 学習済みモデルを試す(v1.0 リリース)

公開された実行で使用された正確なチェックポイントとデータを入手できます。

インストールとダウンロード

mkdir -p data runs/main
curl -L -o runs/main/ckpt.pkl \
    https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl          # 約 138 MB
curl -L -o data/tokenizer.json \
    https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/tokenizer.json

学習した後に生成を試すコマンド例:

.venv/bin/python sample.py --prompt "The fog came in off the" --num 3

注意: チェックポイントは Python の

pickle
フォーマットであり、読み込まれるとコードが実行されます。必ず信頼できるソースからのチェックポイントのみを使用してください。

3. 再現方法(環境構築からトレーニングまで)

Apple Silicon Mac、Python 3.12、および

uv
が必須です。公開実行は 24 GB メモリを使用しました。CPU での実行も可能です。

ステップ 1: インストールと依存関係

git clone https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax.git && cd deepseek-v3-jax
uv venv -p 3.12 .venv
uv pip install --python .venv/bin/python -r requirements.txt

重要:

requirements.txt
のバージョンはすべて固定されています。特に、
jax-metal
0.1.1 は
jax==0.4.34
とのみ互換性がありますので、JAX をアップグレードしないようご注意ください。

ステップ 2: 環境チェック

# テスト実行(39 件通過確認)
JAX_PLATFORMS=cpu .venv/bin/pytest tests.py -q  

# オプション:Apple Silicon の jax-metal サポート内容の確認
.venv/bin/python smoke_metal.py

注意:

smoke_metal.py
において「grad through 2-axis contraction」は失敗します。これは
jax-metal
0.1.1 における予期された挙動であり、モデルコードはこの問題を回避するように設計されています。

ステップ 3: データセットの構築

以下のコマンドでデータ準備スクリプトを実行します。207 の書籍(約 120 MB)をダウンロードし、クリーンアップしてトナイザーを学習させます。

.venv/bin/python prepare_data.py

出力結果(例):

train: 211 docs, 83.4M chars, 21.69M tokens
val: 4 docs, 1.1M chars, 0.30M tokens

データの整合性確認

公開された実行で使用されたデータのハッシュ値(sha256)は以下の通りです。

  • data/train.bin
    :
    d37aca97e707bb81b6e4d266cc1adfd1f3e3556457c6eb724e495118a734e0bb
  • data/val.bin
    :
    b7ac285b115e6793b5d36aa5b4bc6e81a5fccfc7af0908a306d3828ebca9c31c
  • data/tokenizer.json
    :
    c5a142b4006a967c880dda44ad792719d53c16d947da3b6c2332d6132d9967cc

注意: 書籍ソースによっては再発行されたファイル(Project Gutenberg)が存在するため、完全な同一ビットの再現は難しい場合があります。しかし、トークン数は一致し、学習挙動には影響ないと判断されます。 完全な同一データを再現する場合は、以下のコマンドで公開データを上書きダウンロードしてください。

mkdir -p data
for f in train.bin val.bin tokenizer.json; do curl -L -o data/$f https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/$f; done

ステップ 4: トレーニング実行

メインの実行と、バランス調整(バイアス)の有無によるアブレーションを以下のように実行できます。

# メイン実行 (ステップ 12k, 約 2.6 h)
.venv/bin/python train.py 

# バランス調整ありのアブレーション (ステップ 2000)
.venv/bin/python train.py --steps 2000 --out runs/bias_on

# バランス調整なしのアブレーション (ステップ 2000)
.venv/bin/python train.py --steps 2000 --out runs/bias_off --no-bias

出力ファイル: 各

runs/
フォルダには、評価時のロスやエキスパート負荷、速度などが記録された
metrics.jsonl
とチェックポイント
ckpt.pkl
が保存されます。シード値は固定されていますが、GPU 計算上のビット単位の違いにより数値の完全な一致は期待できません。

ステップ 5: テキスト生成

学習済みモデルでテキストを生成します。

.venv/bin/python sample.py --prompt "The fog came in off the" --num 3

デフォルト設定: 温度 0.8、Top-k 50、新規トークン数 300。(

--temp
,
--top-k
,
--n
で変更可能)

ステップ 6: グラフの作成

トレーニングログからグラフを生成します。

# メインおよびアブレーション結果からの図面化 (runs/main, runs/bias_on, runs/bias_off が必須)
.venv/bin/python plots.py 

# CPU で他のチャートを作成
JAX_PLATFORMS=cpu .venv/bin/python charts.py

出力は

post/figures/
に配置されます。トレーニングなしでログを再使用するには、リリース版の
metrics-*.jsonl
を各フォルダに配置します。

4. CPU での実行

すべて

jax-metal
を使わずに動作しますが、速度が大幅に低下するため小規模な設定が必要です。

JAX_PLATFORMS=cpu .venv/bin/python train.py --config small

--config small
はレイヤー 6 → 4、エキスパート 16 → 8、Top-k 4 → 2、コンテキスト長 256 → 128 の設定です。8〜16 GB RAM の Mac でも動作を確認できます。

5. ファイル構成とコード行数の定義

ファイル一覧

ファイル内容
deepseek_v3.py
コアモデル実装(設定、MLA、MoE、バランス調整、MTP、ロス関数、学習ステップ、キャッシュ付き生成)。計 190 行。
train.py
学習ループ、AdamW オプティマイザー、評価、チェックポイント保存、ロギング。
prepare_data.py
,
sources.txt
コーパスダウンロード、クリーニング、トライナイゼーション。
sample.py
チェックポイントからのテキスト生成。
tests.py
因果的マスキング、キャッシュ動作、ルーティングロジック、NaN処理などのテスト(39 件)。
smoke_metal.py
Apple GPU (Metal) での JAX オペレーション検証。
plots.py
,
charts.py
ログやチェックポイントからの可視化。
post/
レポートに用いる図表、グラフ、スクリーンショット。

「190 行」の定義

この「190 行」とは、コメントや空行を除外した

deepseek_v3.py
の実行数を指します。確認コマンド例:

tail -n +5 deepseek_v3.py | grep -cvE '^\s*(#|$)'    # 結果: 190

シンプル化と制限事項(Trade-offs)

  • 高密度 MoE: すべてのエキスパートが各ステップで動作し、未選択のものはゼロに設定されます。疎配列ディスパッチや並列化はありません。
  • MLA の重量吸収なし: 潜在変数は明示的に再圧縮されており、可読性は高まりますが推論速度は若干低下します。
  • 含まれていない機能: FP8 学習、DualPipe、ノード制限型ルーティング、YaRN コンテキスト拡張、およびトレーニング後の最適化(LoRA など)は一切含まれません。
  • スケーリング: パラメータ数は 36.2M(対照:671B)、レイヤー数 6(対照:61)、コンテキスト長 256 トークンです。

6. データとライセンス情報

  • データソース: すべての学習テキストは米国でパブリックドメインです(ダシエ・ハメット作品、Project Gutenberg の犯罪小説など)。詳細は
    sources.txt
    を参照。
    • 注: 米国外におけるパブリックドメイン判定は異なります。
  • ライセンス:
    • コード:MIT
    • 学習テキスト:米国にてパブリックドメイン(上記のデータソースを参照)。

引用文献: DeepSeek-AI, DeepSeek-V3 Technical Report, 2024.

同じ日のほかのニュース

一覧に戻る →

2026/11/15 2:43

Lovable アプリがパスポート情報を公開し、20 万通以上のプライベートメッセージも晒された問題

## Japanese Translation: Stockholm に 2023 年に設立されたスウェーデンの AI スタートアップ Lovable は、ログインなしで非技術者が Web アプリを構築できることを可能にし、データ処理の責任を利用規約を通じて顧客に委譲しています。159,000 件以上のプロジェクト(そのうち約 24,600 が Supabase と統合されたものを含む)を分析した研究者たちは、使いやすさが必要なアクセス制御と対立する重要なセキュリティギャップを発見しました。それらの調査では、 thousands のサイトがロード時に自動的にデータベースのレコードを公開しており、その中にはチャット、契約書、請求書、および写真が含まれていました。具体的な暴露例には、ドイツのフォーラムでの 80,000 件以上の個人データを含むプロフィール、20 万件以上のチャットメッセージ、そして盗難に利用可能なパスポートなどの身分証明書類 1,000 点以上が挙げられます。自動化されたチェックでは専門的なセキュリティ評価を代替できず、30% のメール暴露という数字は公共データやテストデータを考慮した文脈が必要ですと指摘されますが、これらの発見は、ローコードプラットフォームが完全なセキュリティ適合性を前提にすることはできないことを示しています。スタートアップからエンタープライズまでのプライバシー通信や業務文書の将来の漏洩を防ぐためには、ユーザーフレンドリーなツールと堅牢な安全性の間のギャップを埋めるために、専門的なアクセス制御レビューが必要です。

2026/11/15 2:45

ソフトウェア職種の家族樹

## Japanese Translation: イアン・ミエールは、1940 年代から約 2025 年にかけてのソフトウェア関連の職歴を 100 以上追跡し、役割が新たに出現するだけでなく、どのように進化・統合・消滅したかを明らかにしました。5 年ごとのタイムスロットにわたり、開発、分析/アーキテクチャ/リーダーシップ、運用/インフラストラクチャー、ネットワーク/セキュリティ、データ/AI、品質/テスト、サポート/カスタマー向けという 7 つの機能カテゴリで色分けされたこの包括的な系図には、「Computer」という初期の役職から登場しつつある「AI エージェント / コンテキストエンジニア」に至るまでの計 104 のタイトルが含まれています。可視化は、直接的な血統を示す実線の矢印、影響関係または一般的なキャリア移行(「webmaster」の分岐と再統合など)を示す破線の矢印、そしてマイルストーンとなるタイトルを表す太字を用いています。これは、1947 年の計画業務とコーディングの分岐、「システムエンジニア」が異なる時代における二重の定義、「構成管理」の進化といった歴史的な曖昧さを明確にしています。最近の変化には、DevOps と SRE がプラットフォームエンジニアリングへと統合される傾向や「フォワードデプロイエンジニア」といった新動向が含まれます。日付は初出を示すものではなく最良の見積もりであり、一部の役職(例:2025 年のいくつかのタイトルの未確認状態など)に関する不確実性を認める一方で、ミエールは Graphviz および JSON の形式としたオープンソースデータセットを提供しており、ユーザーはチャートを描画したり、GitHub を通じて修正を提出することができます。結局のところ、このリソースは、変化激しい雇用環境を堅実な歴史的事例に文脈付けすることで、キャリアパスに対するより明確な理解を提供します。

2026/11/15 0:40

より明確なセキュリティシグナルを備えた PyPI の一新したプロジェクトページが今すぐ利用可能になりました。

## Japanese Translation: 下記に、明瞭性を維持しつつ全ての不足している点を盛り込んだ新たな包括的なバージョンが生成されました。 # 改善されたサマリー Python パッケージ・インデックス (PyPI) は、7 ヶ月にこの作業完了が発表され、現在は改訂後のインターフェースを正式にローンチしました。本改修は、セキュリティシグナルとパッケージ詳細表示の強化を目指しています。Kabu Creative と連携し、OpenSSF Attestations Style Guide の推奨事項を実装しており、新たな「Security」タブを導入するとともに、より実用的な情報提示のためメタデータを再編成(「PyPI data」としてラベル付けまたは「PyPI によって検証されたデータ」として表示)しています。今回のアップデートの中核をなすのは、2024 年に導入された**デジタルアテステーション **(Digital Attestations) です。これによりリリースファイルの由来 (provenance) が計算されます。システムは現在、明確な状態を表示しています:**「完全な由来**(Full Provenance)(100% のファイルがアテステート済み、Trusted Publish および SLSA Build を含む)、「**由来なし **(No Provenance)(アテステーションなし、古くからのリリースや Trusted Publishing に対応していないものに一般的)、「**不完全な由来**(Incomplete Provenance)(部分的なアテステーションあり、例えばホイールとソース・タールの違いなど)、「**不一致の由来**(Inconsistent Provenance)(リリース内に異なるビルドシステムがある場合)、「**由来の変更 **(Change of Provenance)(別のリポジトリまたはワークフローから発信された場合)、そして**「**由来の喪失 **(Loss of Provenance)(アテステートされたアップロードから非アテステートされたアップロードへの切り替え、不正な変更を示す可能性がある)です。これらの警告は、プロジェクト詳細ページの上部に際立たせて表示されており、yanked またはアーカイブされたプロジェクト向けの標準的なバナーと並んで配置されています。さらに、リリースファイルタブでは、初期リリースから 14 日以上経過してアップロードされたファイルについては、2026 年 7 ヶ月までオレンジ色の警告アイコンを表示します。今回の大規模な改修により、開発者や組織はサプライチェーン攻撃のリスクを軽減し、より安全なインストール判断を行うために、深い技術知識を必要とせずにファイル完全性の詳細な可視化を提供することで、信頼できるパッケージを瞬時に特定する機能を備えるようになりました。

Show HN: DeepSeek V3 を純粋な Jax で約 200 行の実装 | そっか~ニュース