bonsai27b:スマートフォンで動作する 270 億パラメータモデル

2026/07/15 2:50

bonsai27b:スマートフォンで動作する 270 億パラメータモデル

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

PrismML は、Qwen3.6 を基盤とする画期的なマルチモーダル AI モデルである Bonsai 27B をリリースしました。これは持続可能かつオンデバイス的人工知能へと向かう転換点を示すものです。Bonsai はユニークな構造を採用し、ネットワーク全体で低ビット形式のみで動作します(高精度のエスケープハッチはありません)。これにより未曽有の極限圧縮を実現し、1 ビットバイナリ版は 3.9 GB、ターナリー版は 5.9 GB のサイズです。このブリークスルーにより、モデルは iPhone 17 Pro の約 6 GB というメモリ予算内に収めることが可能となり、従来の構築(16 ビットで約 54 GB、4 ビットで約 18 GB)とは対照的です。この圧縮にもかかわらず、Bonsai は重要な数学、コーディング、ツール呼び出しタスクにおいて、フル精度モデルの知能を 90%〜95% 維持しています。

エンドツーエンドの低ビットアーキテクチャとコンパクトな 4 ビットビジョンタワーを備えた Bonsai は、大規模なコンテキストウィンドウ(262K トークン)をサポートし、高速な推論を実現します(NVIDIA RTX 5090 では最大 163 トークン/秒)。これは標準モデルと比較してギガバイトあたり十倍以上の高い知能密度を提供することで、新たな産業基準を設定しています。この革新により、ユーザーはプライバシーを重視するエージェントワークロードをローカルで実行でき、ファイルや画面入力といったデータをオンデバイスに保持し、追加のコンピューティングコストなしで動作します。最も先進的なタスクがハイブリッド戦略によってクラウド接続を利用することもあるかもしれませんが、Bonsai は即座に Apple デバイス上のネイティブデプロイメント(MLX を通じて)および NVIDIA GPU 上のデプロイメント(CUDA を通じて)をサポートします。Apache 2.0 ライセンスの下でリリースされ、無料の開発者向けプレビュー API が提供されており、データ流出のリスクなしに高度なエージェントワークフローへのアクセス可能な経路を提供します。

本文

Bonsai 27B:スマートフォンで動作する新世代マルチモーダルフラグシップ

本日、Bonsai 27B が正式にリリースされました。これは Qwen3.6 27B をベースとしたモデルで、以下の画期的な特徴を持っています。

  • 新世代のフラグシップ: Bonsai ファミリーの新規マルチモーダルモデルです。
  • 初のスマホ動作: 同クラスの能力を備えながら、スマートフォン上で動作する初のモデルです。
  • 低ビット表現の証明: 従来の 1 ビットおよびトリナリ(3 値)重みを用いたモデルが商業的に有用であることを実証済みです。
  • 新たな能力階層の拡張: マルチステップ推論、構造化されたツールコール、ビジョンタスク、複数ステップにわたる一貫性のあるコンピューター操作エージェント・ループなどの高度な機能をサポートします。

ローカル実行の壁を突破した理由

以前は、27B クラスのモデルをローカル環境(特にスマートフォンやノート PC)で実装することが非現実的でした。

  • 16 ビット精度: 約 54GB の容量が必要となり、あらゆるデバイスでサイズ不足に陥っていました。
  • 4 ビット実装でも課題: たとえ優れた 4 ビット化であっても約 18GB は必要であり、依然としてメモリ不足のリスクがありました。

Bonsai 27B はこれらの制限を完全に解消します。


モデル変種と特徴

本モデルは、用途に合わせて以下の 2 つの変種を提供します。

1. トリナリ Bonsai 27B(品質重視型)

  • 構造: FP16 グループ別スケイリングを備えた {-1, 0, +1} のトリナリ重みを採用。
  • 有効ビット数: 重量あたりに平均 1.71 ビット
  • サイズ: 約 5.9 GB
  • 特徴:
    • 推論、ツールコール、エージェント機能を含む完全な能力を備えています。
    • 日常使いのノート PC でも動作する品質です。

2. 1 ビット Bonsai 27B(スマートフォン用)

  • 構造: グループ別スケイリングを備えた {-1, +1} のバイナリ重みを採用。
  • 有効ビット数: 重量あたりに平均 1.125 ビット
  • サイズ: 約 3.9 GB(極めてコンパクト)。
  • 特徴:
    • iPhone 17 Pro のメモリ予算内に収まります。
    • 27B クラスのモデルをスマートフォン上に初めて導入することを可能にします。

重要: 両変種ともに言語ネットワークから LM ヘッドに至るまでエンドツーエンドで低ビット表現が適用されており、高精度化のための「抜け道」は一切存在しません。また、コンパクトな 4 ビット形式でのビジョンタワー実装により、スクリーンショットやドキュメント入力など、テキスト以外の入出力にもマルチモーダル対応しています。


パフォーマンスと知能密度

低ビット表現でも高性能を維持する「知能密度」が達成されました。最大 262,000 トークンのコンテキストフルサポートおよびロスレスな speculative decoding(ドラフト&VERIFY)技術も搭載しています。

ベンチマーク結果

15 つのベンチマークスイート(知識、推論、数学、プログラミング、指示従順性、ツールコール、ビジョンなど「思考モード」での評価を含む)において以下の性能を維持しました。

  • トリナリ Bonsai 27B: フル精度ベースラインの 95% を維持。
  • 1 ビット Bonsai 27B: フル精度ベースラインの 90% を維持。

能力分析(図 I)

  • 数学とコーディング: 性能低下がほとんど見られません。
  • ツールコール: フル精度との差分は数ポイント以内で、これこそがエージェント型ワークロードにおいて最も重要な領域です。
  • 従来手法との比較: 今回の実装の方が、従来の激しい低ビット化の実装よりもスコアが高く、かつメモリ使用量は 2.5 倍も少ないものです。

パレートシフトと知能密度

フル精度の 2B モデルよりも小さいフットプリントながら、27B クラスの能力を実現しています(Pareto shift)。

  • 1 ビット Bonsai 8Bで導入した「知能密度」指標に基づき:
    • GB あたり: 0.53 を達成。
    • フル精度ベースラインの 10 倍以上
    • 既存のベストな低ビット代替案の約 2.7 倍

この知能密度向上は、AI の次段階における主要な発展軸の一つです。「何ができるか」を決定するのは生々しい能力ですが、「どこでそれを成し遂げるか」を決めるのが密度です。境界線の左移により、高度な AI が動作可能な環境の範囲が拡大されます。


パラダイムシフト:なぜこれが重要なのか

AI ワークロードは「単回の応答」から「持続的な作業(エージェント)」へと移行しています。

  • 従来の課題: クラウド API は最適ですが、計画・ツールコール・中間結果のネットワーク転送によるコスト累積と構造的制約がありました。
  • ローカル実行のメリット: モデルがデバイスに収まることで、「住み着く」エージェントが可能になります。
    • 永続的なオンデバイスエージェントの実現。
    • オフライン動作アシスタントの提供。
    • ユーザーデータやプライベート情報の100% オンデバイス処理によるプライバシー保護。
    • ゼロコストでの百ステップ以上のループ実行。

Bonsai 27B は、これほど小さくても信頼して作業に任せるだけの能力を持つモデルです。さらに、非最先端・機密タスクをローカルで、困難なステップのみ最先端クラウドへ割り当てるハイブリッドデプロイメントも実現し、単位タスクあたりのコスト削減が可能になります。


パフォーマンス指標

各プラットフォームでの推論速度は以下の通りです。

デバイス / モデル推論速度 (トークン/秒)
NVIDIA GeForce RTX 50901 ビット: 最大 163
トリナリ: 134
Apple M5 Max1 ビット: 87
トリナリ: 58

スマートフォン実装の厳しさと解決

  • メモリ制約: iPhone(例:12GB)ではアプリに対しフルメモリを開示せず、モデル利用可能なのは約 6GB です(KV キャッシュや活性化計算を考慮)。
  • 従来モデルの問題: どの実装もこの 4GB〜6GB の閾値に到達しませんでした。
  • Bonsai 27B の達成: 約 4 GB というサイズで初めて余裕を持って動作可能です。

プラットフォーム対応とライセンス

  • Apple デバイス (Mac, iPhone, iPad): MLX を通じてネイティブ動作。
  • NVIDIA GPU (CUDA): ハイブリッド・アテンションアーキテクチャ向けに特別構築されたカスタム低ビットカーネルを介して動作。
  • ライセンス: モデルの重みは現在、Apache License 2.0 のもとで利用可能です。
  • 開発者支援: 本リリースに伴い、開発者が簡単に試せる無料の制限時間 API プレビューも提供されています。

詳細な技術情報、圧縮手法、評価プロセスについては、関連するホワイトペーパーをご確認ください。


団体について:PrismML

  • 設立背景: カリフォルニア工科大学の研究チームによって発足。
  • 支援企業: Khosla Ventures, Cerberus, Google(創業時)。Samsung は継続的な支援を行う中核パートナーです。
  • ミッション: 長年にわたり業界の最も困難な課題の一つである**「推理能力を損なわずにニューラルネットワークを圧縮すること」**に取り組んできました。

次世代の最先端 AI を築くためにご協力の程、ぜひキャリアページをご覧ください。

同じ日のほかのニュース

一覧に戻る →

2026/07/15 6:15

Dependabot のバージョン更新機能でデフォルトのパッケージ冷却期間が導入されます

## Japanese Translation: GitHub の Dependabot は、バージョン更新用のプルリクエストを自動的に作成する前に 3 日間の待機期間を導入する新たなセキュリティ対策を実装しています。この重要な変更は、パブリケーションの直後にマルウェア攻撃者がパッケージリリースを乗っ取るサプライチェーン攻撃からソフトウェアリポジトリを守ることを目的としています。これらのリクエストの作成を遅らせることで、管理者らはそのコードがビルドプロセスに投入される前に、潜在的に汚染されたコードを検査するための十分な時間を確保できます。重要なのは、この安全バッファは重要なセキュリティ更新には適用されない点です。セキュリティ更新は、不可欠な脆弱性パッチへの即時アクセスを確保するために待機期間を完全に迂回します。GitHub Enterprise Server のバージョン 3.23 以前を管理する組織は、後ほどアップグレードする必要があります。また、他の組織も `.github/dependabot.yml` ファイルを介して設定を即座に構成し、このウィンドウを調整または無効化できます。結論として、この更新により、堅牢なセキュリティ衛生と運用上の柔軟性のバランスが達成され、急速な悪意のあるデプロイのリスクは低減しつつ、必要な依存関係の改善は遮断されることなく対応されます。

2026/07/15 1:57

塔はしきりに高まる

## 日本語訳: 核心となる論点は、AI を支援したプログラミングは、チームがシステムアーキテクチャについての共有理解を失うにつれてソフトウェア開発が引き続き進むという危険なパラドックスを生み出すと主張している。創世記におけるバベルの塔に関する聖書の物語とは異なり、そこでは神は統率能力を取り除くことによる協調性を妨げ、建設を停止させるために共通言語を撤去したが、現代の AI ツールは無休憩の通訳として機能する。これらのエージェントは、チームとの即時的な調整が必要ないかシステム全体モデルを取得することなく、孤立した開発者がローカルな変更(例えば OAuth やキャッシングの追加など)を行うことを可能にする。 この人工知能への依存リスクは、「アーキテクチャ言語」——つまり、概念、境界線、不変条件、所有権、およびシステムの形状に関する集合的な精神地図——が人間の記憶から薄れ去る原因となり得る。以前では摩擦(コードを読むこと、質問すること)が人々を同期させるのに役立っていたが、現在はエージェントがこの摩擦を取り除くことで、共有理解が崩壊しながらも変更が適用されることを可能にしている。その結果、個人は特定の機能を効率的に管理する一方、システム全体はその健全性を保つために必要な集合的知識から切り離されてしまう。その結果、開発者がコンポーネントがどのように互いに組み合わさっているかを説明できなくなった後でも、重要な変更を施す状態が生じる。この変化は、複雑なソフトウェアが誰一人として大局的な含意を完全に理解していないまま進化する可能性のある将来の脆弱性を生み出す恐れがあり、それはブルーゲルによる協力失敗を描いた作品に似た混沌としたプロジェクトにつながりうる。

2026/07/15 2:58

カーソル 0day:フルディスクローラこそが最終防衛手段となる時

## Japanese Translation: Mindgard は、Cursor IDE で Windows 上でユーザーの操作なしに悪意のあるバイナリが自動的に実行される深刻なセキュリティ脆弱性を暴露しました。2025 年 12 月 15 日、Mindgard は Cursor の任意のコードの実行(Arbitrary Code Execution)脆弱性を特定し、無害なアプリ(例:計算機)から改名された悪意のある `git.exe` がレポジトリのルートに配置されているプロジェクトを開いた際にトリガーされることが確認されました。この問題 affects Windows ユーザーで IDE の 70 バージョン以上に影響し、2026 年 4 月 30 日までにバージョン 3.2.16 で検証されており、ログにより現在のユーザーの権限下での実行が確認されています。 Cursor は約 700 万人以上のアクティブユーザー、100 万人以上の日次アクティブユーザー、100 万人以上の有料ユーザーを抱え、5 万社以上の企業をサービス対象としており、報告された市場価値は 600 億ドルです。この大規模なスケールにもかかわらず、脆弱性への有意義な対応は発見から数か月后才に開始されました:2025 年 12 月 15 日に `security-reports@cursor.com` へ最初の協調開示(coordinated disclosure)が送られ、その後の 7 ヶ月間にわたり追跡連絡が行われたにもかかわらず、実質的な対応がない状態で 2026 年 7 月まで続きました。Cursor の CISO が自動化システムの障害後に手動でアクセスした HackerOne のプライベートバグ bounty プログラムでは、報告は当初「Informative」としてクローズされ、再現確認後に見直されました。2026 年 2 月 16 日からの複数の更新要請および HackerOne によるエスカレーションにもかかわらず、是正措置やユーザー通知に関する公的な更新は一切受け取っていませんでした。 この長期間にわたるコミュニケーションと是正の進捗不足により、Mindgard は全面的な公開開示を促しています。管理された Windows システムについてはレポジトリルートを対象としたパスベースの否認ルール(deny rules)を用いた AppLocker または Windows App Control を使用することを推奨し、コンシューマユーザーについてはパッチ適用までの間は信頼できないレポジトリを開く場合にのみ隔離環境(VM、Windows Sandbox、または使い捨てデプロイメント)を使用するよう提言しています。この事件は、主要な AI 企業が急成長に伴いセキュリティ修復を優先順位を下げる可能性、SpaceX による買収の影響、あるいは多すぎるバグ bounty パイプラインへの対処不足などによりセキュリティインフラの能力が seemingly 見落されていることに対する責任問題の拡大を示しています。

bonsai27b:スマートフォンで動作する 270 億パラメータモデル | そっか~ニュース