
2026/07/15 2:50
bonsai27b:スマートフォンで動作する 270 億パラメータモデル
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
PrismML は、Qwen3.6 を基盤とする画期的なマルチモーダル AI モデルである Bonsai 27B をリリースしました。これは持続可能かつオンデバイス的人工知能へと向かう転換点を示すものです。Bonsai はユニークな構造を採用し、ネットワーク全体で低ビット形式のみで動作します(高精度のエスケープハッチはありません)。これにより未曽有の極限圧縮を実現し、1 ビットバイナリ版は 3.9 GB、ターナリー版は 5.9 GB のサイズです。このブリークスルーにより、モデルは iPhone 17 Pro の約 6 GB というメモリ予算内に収めることが可能となり、従来の構築(16 ビットで約 54 GB、4 ビットで約 18 GB)とは対照的です。この圧縮にもかかわらず、Bonsai は重要な数学、コーディング、ツール呼び出しタスクにおいて、フル精度モデルの知能を 90%〜95% 維持しています。
エンドツーエンドの低ビットアーキテクチャとコンパクトな 4 ビットビジョンタワーを備えた Bonsai は、大規模なコンテキストウィンドウ(262K トークン)をサポートし、高速な推論を実現します(NVIDIA RTX 5090 では最大 163 トークン/秒)。これは標準モデルと比較してギガバイトあたり十倍以上の高い知能密度を提供することで、新たな産業基準を設定しています。この革新により、ユーザーはプライバシーを重視するエージェントワークロードをローカルで実行でき、ファイルや画面入力といったデータをオンデバイスに保持し、追加のコンピューティングコストなしで動作します。最も先進的なタスクがハイブリッド戦略によってクラウド接続を利用することもあるかもしれませんが、Bonsai は即座に Apple デバイス上のネイティブデプロイメント(MLX を通じて)および NVIDIA GPU 上のデプロイメント(CUDA を通じて)をサポートします。Apache 2.0 ライセンスの下でリリースされ、無料の開発者向けプレビュー API が提供されており、データ流出のリスクなしに高度なエージェントワークフローへのアクセス可能な経路を提供します。
本文
Bonsai 27B:スマートフォンで動作する新世代マルチモーダルフラグシップ
本日、Bonsai 27B が正式にリリースされました。これは Qwen3.6 27B をベースとしたモデルで、以下の画期的な特徴を持っています。
- 新世代のフラグシップ: Bonsai ファミリーの新規マルチモーダルモデルです。
- 初のスマホ動作: 同クラスの能力を備えながら、スマートフォン上で動作する初のモデルです。
- 低ビット表現の証明: 従来の 1 ビットおよびトリナリ(3 値)重みを用いたモデルが商業的に有用であることを実証済みです。
- 新たな能力階層の拡張: マルチステップ推論、構造化されたツールコール、ビジョンタスク、複数ステップにわたる一貫性のあるコンピューター操作エージェント・ループなどの高度な機能をサポートします。
ローカル実行の壁を突破した理由
以前は、27B クラスのモデルをローカル環境(特にスマートフォンやノート PC)で実装することが非現実的でした。
- 16 ビット精度: 約 54GB の容量が必要となり、あらゆるデバイスでサイズ不足に陥っていました。
- 4 ビット実装でも課題: たとえ優れた 4 ビット化であっても約 18GB は必要であり、依然としてメモリ不足のリスクがありました。
Bonsai 27B はこれらの制限を完全に解消します。
モデル変種と特徴
本モデルは、用途に合わせて以下の 2 つの変種を提供します。
1. トリナリ Bonsai 27B(品質重視型)
- 構造: FP16 グループ別スケイリングを備えた {-1, 0, +1} のトリナリ重みを採用。
- 有効ビット数: 重量あたりに平均 1.71 ビット。
- サイズ: 約 5.9 GB。
- 特徴:
- 推論、ツールコール、エージェント機能を含む完全な能力を備えています。
- 日常使いのノート PC でも動作する品質です。
2. 1 ビット Bonsai 27B(スマートフォン用)
- 構造: グループ別スケイリングを備えた {-1, +1} のバイナリ重みを採用。
- 有効ビット数: 重量あたりに平均 1.125 ビット。
- サイズ: 約 3.9 GB(極めてコンパクト)。
- 特徴:
- iPhone 17 Pro のメモリ予算内に収まります。
- 27B クラスのモデルをスマートフォン上に初めて導入することを可能にします。
重要: 両変種ともに言語ネットワークから LM ヘッドに至るまでエンドツーエンドで低ビット表現が適用されており、高精度化のための「抜け道」は一切存在しません。また、コンパクトな 4 ビット形式でのビジョンタワー実装により、スクリーンショットやドキュメント入力など、テキスト以外の入出力にもマルチモーダル対応しています。
パフォーマンスと知能密度
低ビット表現でも高性能を維持する「知能密度」が達成されました。最大 262,000 トークンのコンテキストフルサポートおよびロスレスな speculative decoding(ドラフト&VERIFY)技術も搭載しています。
ベンチマーク結果
15 つのベンチマークスイート(知識、推論、数学、プログラミング、指示従順性、ツールコール、ビジョンなど「思考モード」での評価を含む)において以下の性能を維持しました。
- トリナリ Bonsai 27B: フル精度ベースラインの 95% を維持。
- 1 ビット Bonsai 27B: フル精度ベースラインの 90% を維持。
能力分析(図 I)
- 数学とコーディング: 性能低下がほとんど見られません。
- ツールコール: フル精度との差分は数ポイント以内で、これこそがエージェント型ワークロードにおいて最も重要な領域です。
- 従来手法との比較: 今回の実装の方が、従来の激しい低ビット化の実装よりもスコアが高く、かつメモリ使用量は 2.5 倍も少ないものです。
パレートシフトと知能密度
フル精度の 2B モデルよりも小さいフットプリントながら、27B クラスの能力を実現しています(Pareto shift)。
- 1 ビット Bonsai 8Bで導入した「知能密度」指標に基づき:
- GB あたり: 0.53 を達成。
- フル精度ベースラインの 10 倍以上。
- 既存のベストな低ビット代替案の約 2.7 倍。
この知能密度向上は、AI の次段階における主要な発展軸の一つです。「何ができるか」を決定するのは生々しい能力ですが、「どこでそれを成し遂げるか」を決めるのが密度です。境界線の左移により、高度な AI が動作可能な環境の範囲が拡大されます。
パラダイムシフト:なぜこれが重要なのか
AI ワークロードは「単回の応答」から「持続的な作業(エージェント)」へと移行しています。
- 従来の課題: クラウド API は最適ですが、計画・ツールコール・中間結果のネットワーク転送によるコスト累積と構造的制約がありました。
- ローカル実行のメリット: モデルがデバイスに収まることで、「住み着く」エージェントが可能になります。
- 永続的なオンデバイスエージェントの実現。
- オフライン動作アシスタントの提供。
- ユーザーデータやプライベート情報の100% オンデバイス処理によるプライバシー保護。
- ゼロコストでの百ステップ以上のループ実行。
Bonsai 27B は、これほど小さくても信頼して作業に任せるだけの能力を持つモデルです。さらに、非最先端・機密タスクをローカルで、困難なステップのみ最先端クラウドへ割り当てるハイブリッドデプロイメントも実現し、単位タスクあたりのコスト削減が可能になります。
パフォーマンス指標
各プラットフォームでの推論速度は以下の通りです。
| デバイス / モデル | 推論速度 (トークン/秒) |
|---|---|
| NVIDIA GeForce RTX 5090 | 1 ビット: 最大 163 トリナリ: 134 |
| Apple M5 Max | 1 ビット: 87 トリナリ: 58 |
スマートフォン実装の厳しさと解決
- メモリ制約: iPhone(例:12GB)ではアプリに対しフルメモリを開示せず、モデル利用可能なのは約 6GB です(KV キャッシュや活性化計算を考慮)。
- 従来モデルの問題: どの実装もこの 4GB〜6GB の閾値に到達しませんでした。
- Bonsai 27B の達成: 約 4 GB というサイズで初めて余裕を持って動作可能です。
プラットフォーム対応とライセンス
- Apple デバイス (Mac, iPhone, iPad): MLX を通じてネイティブ動作。
- NVIDIA GPU (CUDA): ハイブリッド・アテンションアーキテクチャ向けに特別構築されたカスタム低ビットカーネルを介して動作。
- ライセンス: モデルの重みは現在、Apache License 2.0 のもとで利用可能です。
- 開発者支援: 本リリースに伴い、開発者が簡単に試せる無料の制限時間 API プレビューも提供されています。
詳細な技術情報、圧縮手法、評価プロセスについては、関連するホワイトペーパーをご確認ください。
団体について:PrismML
- 設立背景: カリフォルニア工科大学の研究チームによって発足。
- 支援企業: Khosla Ventures, Cerberus, Google(創業時)。Samsung は継続的な支援を行う中核パートナーです。
- ミッション: 長年にわたり業界の最も困難な課題の一つである**「推理能力を損なわずにニューラルネットワークを圧縮すること」**に取り組んできました。
次世代の最先端 AI を築くためにご協力の程、ぜひキャリアページをご覧ください。