
2026/09/18 6:13
bonsai 2 27B:サイズが 9 倍小さくても損失のない圧縮を実現
RSS: https://news.ycombinator.com/rss
要約▶
日本語翻訳:
PrismML は、Qwen3.8 27B をベースとした現時点で最も高性能なモデルである Ternary Bonsai 2 27B をリリースしました。このモデルは、NVIDIA RTX 5090(最大 143 トークン/秒)や Apple M5 Max(46.8 トークン/秒)のようなコンシューマー向けハードウェアでの効率的なデプロイを目的として設計されています。モデルは{-1, 0, +1}の値を持つトライナリ重みと FP16 グループ別スケーリングを採用しており、フルプレシジョン版よりも 5.9GB のフットプリントで 9 倍以上小さく、かつ論理推論、数学、コーディング、指示に従うこと、ビジョン、エージェント型ツールの使用にわたる総合ベンチマークスコア(83.9 ポイント)において Qwen3.8 27B の 98.2% を達成しています。
262K トークンのコンテキストウィンドウとテキストおよび画像入力のネイティブサポートを備えた改良されたアーキテクチャに基づいた Ternary Bonsai 2 は、論理推論、コーディング、マルチモーダルワークフローにおいて強力なパフォーマンスを発揮しながら、通常誤差が累積しやすい領域でフルプレシジョンの能力を保持します。CUDA を通じて NVIDIA GPU や MLX を通じて Apple デバイス上で動作し、カスタムロービットカーネルを活用することで、小型モデルに比べエネルギー効率(RTX 4090 で 0.714 mWh/トークン)が優れており、運用コストを大幅に削減します。Apache 2.0 ライセンスの下でリリースされており、今日から完全な重みとホワイトペーパーが利用可能です。カリフォルニア工科大学の研究者らによって設立され、Khosla Ventures、Cerberus、Google の支援を受けた PrismML では、contact@prismml.com で連絡し、チーム協力によるモデルの適応化をサポートしています。
本文
Bonsai 2 27B(Ternary Bonsai 2):ローカルのための高性能低ビット化モデルを発表
概要
本日発表された**「Ternary Bonsai 2 27B」**は、前作の Bonsai 27B をさらに進化させた高性能モデルです。以下の主要な特徴を備えています。
- 基盤モデル: Qwen3.8 27B を採用し、論理推論、コーディング、ビジョン、エージェンシー能力を大幅に強化。
- ローカル最適化: Bonsai シリーズの核となる小型メモリフットプリント、高いローカルスループット、および優れたエネルギー効率を維持。
- 低ビット表現技術:
- 全層で{-1, 0, +1}の三値化(Terinary)重みを採用。
- FP16 グループごとのスケールリングを適用。
- 実効ビット数: 1 重みあたり 1.76 ビット。
- 総モデルサイズ: 5.9GB(非常にコンパクト)。
- 多模態・コンテキスト対応:
- コンテキストウィンドウ:最大 262,000 トークン。
- 入力形式: テキストと画像のマルチモーダル対応。
- ライセンス: Apache 2.0 ライセンス。
性能維持率:ロスレスな圧縮の限界を突破
フル精度バージョンと比較した際の驚異的な性能保持率です。
| メトリック | 数値 | 意義 |
|---|---|---|
| モデルサイズ | 9 倍以上小さい | ローカルデバイスのメモリ負荷を劇的に低減 |
| 総合ベンチマーク維持率 | 98.2% | 単なる削減ではなく、実用レベルでの「解き」を実現 |
この性能保持率は、特に以下の領域において重要です。
- コーディングエージェント: エラーの蓄積を防ぎ、多数ステップを要するタスクで安定動作。
- ツール利用・マルチモーダルワークフロー: 外部リソースとの連携における劣化防止。
- 長期タスク: 思考モードにおける一貫性の確保。
「知性密度」の飛躍的向上
図 II に示す通り、Ternary Bonsai 2 27B は「単位 GB あたりの能力(知性密度)」において他のモデルと比べ際立った外れ値を記録しています。従来の低ビット化アプローチがコーディングやビジョンなどで能力を犠牲にしがちでしたが、本モデルは高い能力」と「低いメモリ使用量」の両方のフロンティアを拡張しました。
第 1 回 Bonsai 27B から主な変化
前代(Bonsai 27B)が「ローカルでの実行可能性」を示したマイルストーンだったのに対し、本作は「現実世界のアプリ品質とランタイム性能」への進化を遂げています。
具体的な改善点
- 基盤モデルの強化: Qwen3.8 27B というより強力なベースを使用。
- 能力維持率向上: フル精度モデルに対する総合スコア保持率が**95% から 98.2%**へ向上。
- 特定タスクでの性能改善:
- 論理推論・数学
- コーディング・指令従順性
- ビジョン処理
- 長期的なエージェンシータスク
ベンチマークスコア(合計)
- Ternary Bonsai 2 27B: 83.9
- フル精度 Qwen3.8 27B: 100%(基準)
- 総合性能の 98.2% を維持しています。
- 詳細はホワイトペーパーを参照のこと。
思考モードにおけるベンチマークスコア比較
Ternary Bonsai 2 27B は、フル精度モデル(Qwen3.8 27B)およびベースライン(Qwen3.6 27B)と比較しても遜色ないスコアを記録。特にコーディングやツール利用といった複雑なタスクにおいて劣化なしの性能を発揮しています。
デモ:ローカル環境でのコーディングエージェント
NVIDIA GeForce RTX 5090搭載環境での動作デモです。
Ternary Bonsai 2 27B を採用することで、ローカルモデルが以下のような実際の知識作業を直接引き受ける段階へ进入了います。
- コーディングエージェントのループの実行
- コンピュータ操作ワークフローの自律化
- 機密ドキュメント分析とマルチモーダルデバッグ
- ハイブリッド型オーケストレーション:
- ローカルで処理可能なタスクをモデルが担当。
- 必要に応じて、クラウドへ選択的にエスカレーションする仕組み。
スループットとエネルギー効率の劇的向上
異なる GPU 環境における推論性能と電力消費です。
スループット(トークン/秒)
- NVIDIA GeForce RTX 5090: 143 トークン/秒
- Apple M5 Max: 46.8 トークン/秒
エネルギー効率(mWh/トークン)
- RTX 4090: 0.714 mWh/トークンを達成。
- これは、フル精度の 8B パラメータモデルの約**40%**という驚異的なエネルギー効率です。
プラクティカルなメリット
- コーディングアシスタント向け: 「編集−デバッグ」サイクルが大幅に高速化。
- マルチモーダルエージェント向け: スクリーンショットやツール呼び出しへの対応速度が向上し、素早い反復が可能に。
- ローカルワークフロー向け:
- 同じデバイスでより多くの推論が可能(バッテリー寿命の延長)。
- クラウド依存度の低下。
- 常駐アシスタントとしての現実的な運用実現。
なぜ今回のリリースが重要か
前作と比較して、フル精度モデルとの性能維持率が 98% 以上へと引き上げられ、実質的に**「ロスレスな展開」**に近い水準に達しました。これは単なる技術的進歩を超え、AI システムの経済性とアーキテクチャを再定義する意味を持っています。
産業へのインパクト
- リソース効率化: より大きなモデルを既存のメモリ範囲で運用可能に。
- コスト削減: 同じハードウェアでより多くのユーザーをサービス可能にし、推論あたりのエネルギー消費を削減。
- ハイブリッドシステムの普及: 「どこをローカルで、どこをクラウドで実行すべきか」を動的に決定するシステムを実現。
今後、モデル開発の焦点は「どれだけ能力があるか」から、**「制約条件(メモリ・計算リソース・電力)の中でいかに多くの有用な知性を提供できるか」**へとシフトします。これにより、個人デバイスから大規模データセンターまで、全てのレイヤーでの展開領域が拡大することになります。
プラットフォーム対応とライセンス
- 動作環境:
- NVIDIA GPU: CUDA ベース(独自低ビット化カーネル利用)
- Apple デバイス(Mac/iPhone/iPad): MLX ベース
- 公開状況: モデルウェイトを今日より Apache 2.0 ライセンスの下で公開。
- 詳細情報: 技術仕様、評価結果、ベンチマークリングの詳細はホワイトペーパーをご参照ください。
お問い合わせ・協力について
特定のドメインデータを用いたポストトレーニングや、ターゲットハードウェア向けの推論最適化などを通じて、Bonsai モデルをお客様のアプリケーションに合わせてカスタマイズするお手伝いをいたします。
もしメモリ、レイテンシ、電力制約の厳しい AI プロダクトを開発中であれば、Bonsai がどのように貢献できるかについて議論させていただきたく存じます。
- 連絡先: contact@prismml.com
ご加入へ(会社概要と募集)
PrismML は以下の背景を持つ企業です。
- 設立: カリフォルニア大学ロサンゼルス校(UCLA)の研究者チームによって設立。
- 支援企業: Khosla Ventures、Cerberus、Google(初期支援)、Samsung(継続的支援)。
- ミッション: 推論能力を損なうことなくニューラルネットワークを圧縮するという、神経ネットワーキング分野における最も困難な課題に取り組んできました。
次世代の最先端 AI を共に構築したい方、採用ページをご覧ください。