Apple チップ搭載 Mac で実行：Muse Spark Open 級モデルのローカルデプロイメント

Apple Silicon マックでの**MLX（マックス）**を活用すれば、研究者や開発者はプライベート環境で最新 AI モデルを実験できます。ユニファイドメモリアーキテクチャを最大活用し、最新の推論・ファインチューニング手法の実行が可能になります。今回は、今日リリースされた MLX の最新版を使い、1000 ビリオンパラメータ超のパイオニアモデルである「Muse Spark Open」をデスクトップ環境から直接実行する方法と、Mac Studio クラスターでのベンチマーク結果について解説します。

パフォーマンスの概要

Muse Spark Openは約 1000 ビリオンパラメータを持ち、4 台の Mac Studio クラスター上で実行したところ、36 トークン/秒以上の推論速度を記録しました（図 1）。これは平均的な人間の読み取り速度を遥かに上回る性能です。

• 評価環境: ユニファイドメモリ最大 512GB を搭載する Mac Studio
• スケーリング構成: Thunderbolt 経由の RDMA ドライバーを活用し、複数台間での並列化を実装
• 報告される 3 つのパフォーマンス指標:
  • 2 M5 Pipeline: 2 台間のパイプライン並列化
  • 2 M5 Tensor: 2 台間のテンソル並列化
  • 4 M5 Tensor: 4 台間のテンソル並列化

図 1: デコード速度（Muse Spark Open） コンテキストサイズ：8,192 トークン

• ユニファイドメモリ最大 512GB の Mac Studio におけるデコード速度（トークン/秒）を示します。数値が大きいほど高性能です。

モデル評価

MLX

lm

評価モデル一覧

以下の 3 つのパイオニア級モデルを広範な規模（パラメータ数：B）で評価しました。

• Muse Spark Open (816 B): 新リリースの超大規模モデル
• Mistral Medium 3.5 (128 B)
• Qwen 3.8 (27 B)

表 1: 評価に使用した言語モデル

注: Muse Spark Open は 4 ビット量子化（NVFP4）での評価を行いました。他モデルはネイティブ精度または同等の精度形式を使用。

測定指標

コンテキストサイズの範囲に対し、以下の 3 つの指標を測定しました。

1. TTFT (Time To First Token): 最初のトークンまでの時間（秒単位）
2. 生成スループット: デコード速度（トークン/秒）
3. ピーク電力消費量: ワット

実装例:

mlx_lm.benchmark

mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1

• -p

  : コンテキストサイズ（8,192 トークン）

• -g

  : 生成トークン数（128 トークン）

• -b

  : バッチサイズ（1）

メモリ要件と容量制限

ローカル LLM の用途として「代理型コーディング」などのエージェント体験が挙げられます。特に大規模コンテキスト処理において、以下のモデルのメモリ特性が異なります。

ハードウェア比較：M5 Ultra vs. M3 Ultra

M5 チップの GPU ニューラルアクセラレータと、ユニファイドメモリの帯域幅改善がもたらす効果を検証しました。

1. 最初のトークンまでの時間（TTFT）

計算リソースに依存する指標であり、GPU の高速行列乗算能力が直結します。

• 速度向上: M5 Ultra は M3 Ultra 대비最大 4.6 倍の速度向上を実現。
• 活用シーン: 非常に大規模なコンテキストを扱うタスクにおいて最適なデスクトップ環境を提供。

2. デコード速度（生成スループット）

メモリ帯域幅に依存する指標です。

• 帯域幅改善: M5 Ultra は1.2 TB/sのユニファイドメモリ帯域幅を提供し、M3 Ultra の 819 GB/s を上回っています。
• 速度向上: デコード速度が直接向上し、1.6 倍のトークン/秒性能を発揮しました。

3. エネルギー効率

Mac Studio は LLM 推論においても高いエネルギー効率を維持しています。

• M3 Ultra: ピーク電力消費量約 200W
• M5 Ultra: ピーク電力消費量約 300W
  • 一般的なトースターで使用される電力の一部にも満たない僅かな量です。家庭やオフィスでの導入も現実的です。

複数台コンピューターによる大規模モデルのスケーリング

Muse Spark Open のような超大規模モデルは単一マシンのメモリ容量に収まらず、複数台での並列化が必要です。MLX は以下の 2 つのアプローチをサポートします。

パイプライン並列化 (Pipeline Parallelism)

モデルを深さ（depth）方向に分割し、複数のコンピューター間に推論を分けます。

• 仕組み: 1 台目の Mac がモデル前半を処理し、出力を 2 台目に渡して後半を処理する方式。
• メリット: 実装が極めて簡単で、最小限のコード変更のみで可能です。

コマンド例

mlx.launch

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline

• --backend jaccl

  : RDMA Thunderbolt ドライバーバックエンド（macOS 26.2 / MLX v0.30.1+ 搭載）

• --env MLX_METAL_FAST_SYNCH=1

  : CPU と GPU の間の通信オーバーヘッド削減機能

パイプライン並列化の特性

• デコード推論: レイヤーが順次評価されるため、単一マシンの速度と非常に類似。
• プリフィル（大規模コンテキスト）: 65,536 トークンなどの大規模な場合は、最大約 1.8 倍の速度向上が見られます。MLX はコンテキストを小さなチャンク（例：8,192 トークン）に分割し、マシン間でプリフィルをパイプライン化します。

テンソル並列化 (Tensor Parallelism)

モデルの幅（width）方向に分散させる方式です。

• 仕組み: 各マシーンがモデルのレイヤーの一部を担当。
• 複雑性: パイプライン並列化より実装が複雑。入力ブロードキャストや出力集約のための多数の通信が発生するため、**低遅延通信技術（jaccl / RDMA）**が必須です。
• 利点: マシン数が増えるほど（例：4 台）メリットが大きくなり、通信オーバーヘッドを相殺できます。

コマンド例

Muse Spark Open の実行コマンド例です。

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.benchmark --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 -p 8192 -g 128 -b 1

スケーリングに関する主要な発見

• 密度の重要性: デンシティの高いアーキテクチャの方がスケーリング性能が優れています。
• Muse Spark Open の特徴:
  • マシン数が少ない場合、通信オーバーヘッドが計算上の利点を相殺する傾向があります（大規模プリフィルで特に顕著）。
  • 2 台構成では、テンソル並列化の方がパイプライン並列化に劣る場合があります。
  • しかし、マシン数を増やすと（例：4 台 M5 Ultra）、デメリットが償還され始めます。
• デコード性能: テンソル並列化下でも顕著な向上があり、高密度モデル（Qwen や Mistral）と同様のパフォーマンスを発揮します。
• 2 ケーブルメッシュの利点: プリフィル段階で追加リンク帯域幅が効果的です。4 台構成で Muse Spark Open を実行した際、1 ケーブルから 2 ケーブルへ変更すると、TTFT が約50.5 秒 → 40.6 秒に削減されました。

ベンチマーク結果サマリー

TTFT（最初のトークンまでの時間）

低い数値ほど高性能です。コンテキストサイズ：8,192 トークンおよび 65,536 トークン。

デコード速度（トークン/秒）

高い数値ほど高性能です。

ローカルエージェント AI の実行

MLX を用いれば、サーバーを起動するだけで「

mlx_lm.server

サーバー起動例

Muse Spark Open がポート 8080 で動作するサーバーを起動します（2 台構成の Thunderbolt メッシュ環境）。

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

OpenCode との連携

ローカル LLM サーバーを

OpenCode

{
  "$schema": "https://opencode.ai/config.json",
  "model": "meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
  "provider": {
    "mlx": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Local MLX",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "meta-models/Muse-Spark-Open-816B-A42B-NVFP4": {
          "name": "Muse Spark Open 816B (MLX)"
        }
      }
    }
  }
}

このアプローチにより、多くのローカルエージェント AI 体験を簡単に実現できます。

結論

過去 1 年間にわたり、MLX は Apple Silicon 上での最先端 LLM のローカル実行をより容易かつ効率的にするために進化しました。主な革新点として以下の 3 つが挙げられます。

1. M5 チップ: GPU に搭載されたニューラルアクセラレータへのソフトウェアサポート。
2. Thunderbolt RDMA: 複数 Mac 間の低遅延通信実現。
3. 最新アーキテクチャ対応: MoE（ミキシングオブエクスパート）などの流行りアーキテクチャへの効率的な実装。

これらがM5 Ultra を搭載した Mac Studio、512GB のユニファイドメモリ、および Thunderbolt 5 と組み合わさることで、Muse Spark Open といった800 ビリオンパラメータ超のモデルをローカル環境で実行できるようになりました。前世代と比べて起動速度（TTFT）で最大4.6 倍の向上をもたらすなど、AI リサーチと開発の可能性が大幅に広がっています。

さらに詳しく学ぶための情報源

• MLX LM の詳細: GitHub で学習
• MLX Hugging Face コミュニティ
• MLX 分散処理サポート
• 関連する読み物とアップデート

Apple は ICLR（International Conference on Learning Representations）でも新しい研究を発表しています。この会議は 2026 年 4 月 23〜27 日にブラジルのリオデジャネイロで開催されます。深層学習に焦点を当てた科学・産業コミュニティを集結させるこの大会のスポンサーとして、Apple が再び参画し大変光栄です。