Japanese Translation:

Kimi K3 は、テキストおよび画像をサポートする大規模オープンウェイトモデルとしての人工知能における決定的な進歩を代表します。そのパラメータ数は以前までの Kimi Linear モデルの 48B の制限を超え、前例のない 2.8 兆に達しています。主な成果は、計算資源を増やすだけでは達成できない極大規模を実現するために、効率性を重視した新たなアーキテクチャ改良を採用したことにあります。核心的な革新は、標準的な線形層を置換し、膨大なパラメータ数にもかかわらず速度を維持する LatentMixture-of-Experts (LatentMoE) デザインにあり、この LatentMoE コンポーネントは Nemotron 3 Ultra に採用されているものと同一です。さらに、Kimi K3 は NoPE（位置埋め込みの削除）を一律で導入し、以前局所的または全局的注意層で使用されていたすべての RoPE 層を取り除いています。これはフロンティアレベルのモデルにおいて、層の範囲に応じて RoPE と混ぜるのではなく、NoPE を排他的に使用する初の試みです。注意力残差と排他的な NoPE 実装を統合することで、このモデルは高パフォーマンスのマルチモーダル能力を提供しつつ、トレーニングコストも前例よりわずか 4％高く、推論コストも 2％しか高くなっています。今回のリリースは、LatentMoE を用いてフロンティアレベルの知性を効果的にスケールさせることが可能であり、かつ prohibitive なリソースオーバーヘッドを必要としないことを示すことで、新しい産業基準を確立しました。

「Kimi K3」のアーキテクチャと大規模リリースに関する考察

昨日公開された「Kimi K3」およびオープンウェイトモデルリリースについて、アーキテクチャ図に基づいた主な特徴と考察を整理しました。

アーキテクチャの基本構造

実質的な進化: 一見複雑に見えるが、昨年リリースされた**「Kimi Linear」**モデルの拡大版である生産用バージョンに過ぎない。
- パラメータ規模：48B から 2.8Tへのスケーリングを実現。
- 現状での立ち位置：K3 は現在、圧倒的に最大のオープンウェイトモデル。

新規導入コンポーネント：LatentMoE

Kimi Linear に対して新たに導入された主要なコンポーネントは**「LatentMoE」**です。

基本概念:
- マルチヘッドレイテンション（Multi-Head Latent Tensor）に類似した方式を採用。
- 巨大な線形層を圧縮（ダウン射影）することで効率化を図る。
詳細確認: アーキテクチャ図では省略されていますが、同手法はNemotron 3 Ultraでも採用されており、LLM アーキテクチャギャラリーにて詳細を確認可能です。

効率性向上に向けた全体的なトレンド

Kimi K3 の方向性は、Nemotron 3やDeepSeek V4など他の最新モデルとも共通する「推論効率の向上」です。既存コンポーネントを効率化されたバージョンへ置き換える改修が行われています。

主要な変更点:
- ```
MoE
```
  → **
```
LatentMoE
```
  **への移行。
- 通常アテンション → マルチヘッドレイテンションおよび Kimi Delta Attentionへの移行。
詳細解説: LLM アーキテクチャギャラリーの簡潔なチュートリアルや解説記事で追加情報を参照できます。

アテンションリジューアル（注意残差）の革新

効率的チューニング以外の重要な変更点は、**「アテンションリジューアル」**に関するものです。

目的:
```
DeepSeek V4
```
が採用する mHC（マニフォールド拘束ハイパーコネクション）による改善と同様に、リジューアル経路の改善を目指しています。
仕組みの違い:
- mHC: リジューアル経路自体をより太くするアプローチ。
- アテンションリジューアル（Kimi K3）: レイヤー間でリジューアルをつなぎ合わせる構造を採用（Kimi Linear からの継承）。接続には、重要度や貢献度の重み付けにアテンションスコアを利用。
性能とコストへの影響:
- 検証ロスの低下および下流タスクの性能向上を一貫して実現。
- 学習コスト：**約 4%**の追加。
- 推論コスト：**約 2%**の追加。

ロケーションエンコーディングの採用変更

Kimi K3 では、位置埋め込み戦略に大幅な変更が導入されました。

構成: 全ての RoPE レイヤーを廃止し、あらゆる場所で**NoPE（位置埋め込みなし）**を採用。
背景: これも Kimi Linear から引き継がれた特徴です。
業界トレンドとの比較:
- 一般的な最近のトレンド：ローカルアテンション（スライディングウィンドウ等）で RoPE、グローバルレイヤーで NoPE を採用するハイブリッド構成。
- K3 の特徴：NoPE 全体のみを使用。 frontier レベル（最先端レベル）のモデルでの採用例としては初めてです。

ネイティブマルチモーダルサポートの導入

Kimi K3 は、今やネイティブなマルチモーダルサポートを備えています。
この機能追加は非常に素晴らしい変化として評価されています。

総評と参考資料

技術報告には興味深いトレーニング関連のエピソードも含まれていますが、アーキテクチャ面からの考察は以上です。全体的に非常に優れたリリースとなりました。

図 1: アーキテクチャとベンチマーク

Kimi K3 のアーキテクチャおよびリリース時のベンチマーク比較。詳細についてはアーキテクチャギャラリー内の「K3」をご参照ください。

出典：Substack ノートのウェブ版より

今週の注目オープンウェイトモデル: Nanbeige 4.2, Laguna S 2.1, Motif-3-Beta, Solar Open 2, Antares 1B, BTL-3 の 6 つの新規モデルアーキテクチャに関するノート。
「Build a Reasoning Model From Scratch」訂正: 本書の 198 頁にあるリスト 6.5（ランダムシード）に関する簡短な訂正ノート。
Inkling (975B): Thinking Machines Lab のオープンウェイト MoE モデル紹介。ベンチマーク、疎型 MoE デザイン、短い畳み込み、RMSNorm、位置バイアスなどについて解説。

Kimi K3 アーキテクチャ概要および注記