Japanese Translation:

Baidu は、高い能力と極めて高い計算効率を両立させる画期的なスパースミキシング・オブ・エキスパート（MoE）言語モデル「ERNIE-5.5-Flash-Base」を発表しました。同モデルは Hugging Face で FP8 および BF16 フォーマットでファインチューニング可能であり、43 層の Transformer にわたって総パラメータ数が280B（トークンあたり 14B が活性化）です。ゼロショットから事前学習が行われ、カスタム BPE トークナイザー（約 200K エントリ）を使用して 33.5 兆語で学習されました。このトークナイザーは右から左への数字のトークン化をサポートしており、推論時のコンテキストウィンドウは事前学習時の 128K から最大 100 万トークンまで拡張可能です。

アーキテクチャは、いくつかの高度な機構により長文脈のコストと計算を最適化しています：

ハイブリッド・アテンション：一部の層にマルチヘッド潜在アテンション（MLA）を組み合わせ、すべてのアクセスタイプへの完全アクセスと、每 128 トークンを圧縮するヘビーリ・コンプレステッド・アテンション（HCA）を実現します。さらに、Dense Sparse Attention (DSA) を用いて上位 k 件の位置のみを処理し、Low-Rank Gated Attention を採用することでゲート投影の重みを 75% 削減しています。
効率的な MoE と接続：独立して初期化されたシグモイドルーティングを持つマルチルーター潜在 MoE（Multi-Router Latent MoE）を使用し、latent space に 512 のルーティングされたエキスパートを有します。また、標準的な残余接続（residual connections）の代わりに、Manifold-Constrained Hyper-Connections (mHC) を採用しています。
出力の最適化：多トークン予測機能による推論能力とコード生成能力の向上をもたらす ECHO モジュールを採用し、追加のメモリオーバーヘッドなしで不合理的なトークンを抑制する MultiMax 出力ヘッドを実装しています。

今回のリリースにより、Baidu はスパース MoE モデルにおけるリーダーとしての地位を確立しました。ERNIE 5.5 Flash Base Model License Agreement v1.0 の元、複雑なコード生成および長文脈タスクに特化して設計された DeepSeek-V4 や Hy3-preview-Base などとの競合他社に対する効率的な代替案を提供しています。

ERNIE 5.5 Flash Base: 効率的な事前学習と推論のためのオープンウェイトモデルリリース

はじめに

本日、我々は汎用能力を備えつつ、さらなる学習の出発点としての価値を持つ ERNIE-5.5-Flash-Base をリリースいたします。

モデル概要
- 総パラメータ数：280B（スパースなミクセル・オブ・エキスパート：MoE）。
- 活性化計算量：各トークンあたり 14B（FLOPs）。
- コンテキスト長：事前学習では最大 128K トークン、ファインチューニング/推論では最大 1M トークン。
- リリース形式：事前学習完了時点のチェックポイント（中間トレーニングやポストトレーニング未実施）。

モデル設計思想

開発者は汎用的な能力を活用しつつ、ドメイン適応、指示チューニング、強化学習など、次なるステップを自らが決定できるよう支援することを目的としています。特に計算コストとメモリ効率を重視し、以下の要素に統合的に考慮しました。

効率的なアーキテクチャ: 活性化計算量、KV キャッシュサイズ、長文脈コストのバランスを設計段階で最適化。
高品質データ選定: 追加学習後の難易度上昇（コード理解や長文脈など）に対応するため、高品質な事前学習データを基盤に採用。

主なハイライト

さらなる学習のための開かれた出発点: 中間トレーニングやポストトレーニングを含まないベース重みを提供し、コミュニティによる独自のアプローチの追求を可能にします。
効率的な推論設計: スパースな MoE とハイブリッドスパース・アテンションにより、モデル容量と計算コストの両立を実現。
多様なデータとトレーニング効率: 幅広い事前学習データと、アーキテクチャと共同設計されたトレーニングシステムが基盤を提供します。
クリーンな研究ベースライン: シングルチェックポイントによる公開で、制御された条件下での手法比較や追加効果の測定を容易にします。

モデル構造

ERNIE 5.5 Flash は以下のアーキテクチャを採用しています：43 層、隠れサイズ 4096、アテンションヘッド 64。

2.1 Latent-Gated スパース・アテンション

従来の高密度アテンションに代わり、以下のハイブリッド設計を導入。

Hybrid MLA + HCA アテンション:
- MLA (Multi-head Latent Attention): 7 レイヤーの 1 つのみ採用（遠いトークンの粗い把握用）。
- HCA (Heavily Compressed Attention): 残りの 42 レイヤーで採用。各トークンを 128 トークンごとに圧縮しキャッシュすることで、全コンテキストを見つつ計算コストを大幅に削減。
レイヤー固有のヘッド次元:
- コストに応じた割り当て（広めの 512 次元 vs 狭めの 256 次元）。
- HCA レイヤー：低コストのため広めの 512 次元を採用。
- MLA レイヤー：トークン単位処理のため狭めの 256 次元を採用。
KV キャッシュ戦略:
- 「HCA ＋ CSA（圧縮）」ではなく、「HCA ＋ MLA」を選択し、事前学習での損失性能を維持しつつ高速化を実現。
フルコンテキスト・スパースアテンション (DSA):
- 長いコンテキスト長においても、軽量なインデクサーによるスコア付けと上位 k 件のみに計算を行うことで、高密度アテンションと同等の性能を一定のコストで発揮。
アテンション層内部の改良:
- ローランク・ゲート付きアテンション: クエリ圧縮形（ラテン特）からゲートを計算し、重み数を 75% 削減。
- 仮想ヘッダ・アテンション (VHA): ヘッド間のローランク混在ステップとアイデンティティ跳躍接続により、表現力とトレーニング品質向上。

2.2 マルチルーター・ラテン特・MoE（Multi-Router Latent MoE）

従来の単一ルーターの欠点（誤った選択の自己強化など）を解消するため、以下の構造を採用しています。

マルチルーター設計:
- 複数の独立したシグモイド・ルーターを導入し、エキスパートを共同でスコアリング。
- ルーター間の嗜好の差異により、単一ルーターの過ちが選択を決定するリスクを低減。
ラテン特・MoE（Latent MoE）:
- トークンを 4096 次元から 2048 次元（ラテン特空間）へ射影し、エキスパート計算を行い、その後共有アップ射影でマッピング。
- フルウィッドサスのモデルに比べ、通信量と FLOPs を約半分に削減。
安定化設計:
- Stable LatentMoE デザイン（RMSNorm および SiTU-GLU）を採用し、43 レイヤー全層で出力のスケールを安定化。

2.3 マニフォールド制約超結合 (mHC)

標準的な残差接続を mHC に置き換え。
制約された混合行列を通じて 4 つの並列残差ストリームから読み書きを行う。
追加コストをかけずに、レイヤー間の情報伝達チャネルを広げる効果あり。

2.4 マルチマックス出力ヘッダー (MultiMax)

単一温度softmax の課題解消: 低温では分布がスパースになりすぎる一方、高温では尾部が肥大化する問題を解決。
学習可能な「分断付き温度」を導入し、不自然なトークンの長尾部を抑制しつつ複数の妥当な次トークンを保持可能に。

2.5 ECHO：MTP モジュールの置き換え

バックボーンの最終層再利用: 独立した MTP レイヤーを設けず、最終層自体で将来のトークンを予測。
直接学習: 将来のトークンに対する損失が次トークン生成パラメータを直接更新するため、シーケンス方向性を予見する能力向上。
仮想推論機能: ECHO レイヤーは同時にドラフトモデルとしても機能し、トレーニング範囲を超えて高い受入率を示す。

2.6 トークナイザー

約 20 万語彙を備えた新しい BPE トークナイザー。
数字は最大 3 桁グループで右から左（R2L）トークナイズし、演算や数値処理の精度向上を図る。

事前学習

ERNIE-5.5-Flash-Base は、Muon オプティマイザと FP8 ミクシッドプレシジョンを使用して、33.5T トークンのデータからゼロからトレーニング済みです。

データ選定

以下の 3 つの領域に重点を置き、高品質で多様なデータを構築。

Web データ: マルチリンガルな Web クローリングと厳格なフィルタリングにより、幅広い知識と高密度な学習シグナルを実現。
コードデータ: レポジトリ規模の推論やエンジニアリング対応のため、コミット履歴やレビューなど、ソフトウェア進化プロセスを網羅したデータを採用。
長文脈データ: 自然な長文書、検索データとの連結合成、および根拠持たせた QA データを含む、長期依存関係への対応力を強化。

トレーニングインフラストラクチャ

分散トレーニング効率化のため、以下の最適化技術を開発・採用。

分散 Muon:
- 全パラメータ行列の更新を直交化するオプティマイザ。
- 通信効率: 高密度パラメータと MoE パラメータの同期パスを統合し、帯域幅利用率向上とレイテンシ低減を実現。
- メモリバランス: ノード間バランスシャarding を導入し、OOM 故障やチェックポイント処理時間の不均一性を解消。
FlashMask-4:
- 大規模ヘッド次元向けの注意カーネル（CuTe-DSL ベース）。
- SM100 GPU では Forward パス最高 175%、Backward パス最高 74% の高速化を実現。

評価結果

公開された同規模のオープンソース・ベースモデル 3 つ（DeepSeek-V4-Flash, Hy3-preview, MiMo-V2.5）と比較した結果、以下の点が確認されました。

総合的性能: すべてのベンチマークカテゴリーで強力な性能を発揮。
推論・コード・試験: 特に高い成績を記録。
長文脈対応: 37 層では 128 倍圧縮されたコンテキストに対する注意を行っており、6 つの MLA-DSA レイヤーと併せて長文脈ベンチマークでも優れた性能を示す。

クイックスタート

ERNIE-5.5-Flash-Base は Hugging Face で入手可能です。

取得方法

FP8 および BF16 safetensors 形式提供（モデルカードのライセンス規定を遵守してください）。
注意: トークナイゼーション時には
```
add_special_tokens=True
```
を設定する必要があります（BOS トークンの扱いのため）。

Python コード例 (Transformers)

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
# モデルのロード（BF16 または FP8 のどちらかを選択してください）
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

text = "The hybrid attention architecture of ERNIE 5.5 Flash"
model_inputs = tokenizer([text], add_special_tokens=True, return_tensors="pt").to(model.device)
output = model.generate(**model_inputs, max_new_tokens=256)
print(tokenizer.decode(output[0], skip_special_tokens=True))

デプロイ: SGLang および vLLM で完了 API 経由で利用可能。詳細はモデルカードをご参照ください。

結論と展望

ERNIE-5.5-Flash-Base は、設計段階から効率性を重視したアーキテクチャと、高品質なデータおよびトレーニングシステムによって支えられています。

特徴: 1 トークンあたり 14B の活性化計算量とコンパクトな KV キャッシュにより、長文脈ベンチマークを含む幅広いタスクで優れた性能を発揮。
次のステップ: このモデルはさらなる学習（ファインチューニングや RL など）の出発点です。ポストトレーニングされた ERNIE 5.5 Flash のリリースも予定されています。

開発者様とコミュニティの皆様によるドメイン適応、推論、エージェント開発などの構築を心より期待しております。

引用情報

研究やプロジェクトで本モデルを使用される場合は、以下の情報を引用することを推奨します。

@misc{ernie5.5flash,
  title = {ERNIE 5.5 Flash Base},
  author = {{Baidu ERNIE Team}},
  year = {2026},
  howpublished = {ERNIE Blog},
  url = {https://ernie.baidu.com/release/ernie-5-5-flash-base/}
}

百度がERNIE 5.5 Flash Baseを発表