LLM を小型・古いデバイス上で動作させています

2026/11/13 0:23

LLM を小型・古いデバイス上で動作させています

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

本プロジェクトの主な成果は、アイドル状態にある CPU、RAM、フラッシュストレージを効率的に活用することで、古いタブレットやテレビボックスといった非常に低消費電力のハードウェア上で大規模な AI モデルを実行できるようにすることです。オープンソースの llama.cpp フレームワークに独自のパッチを適用することで、開発者は Xiaomi TV Box S(第 3 世代)や iPad Air(2013 年モデル)といったデバイスにパラメータ数 160 億の超大規模モデルを読み込むことに成功しました。限られたメモリを管理するためには、RAM にアクティブなモデル部分のみを残し、重みデータをフラッシュストレージから直接ストリーミングさせるアプローチを採用しています。この成就是、加速計算のための 1 ビットルックアップテーブルの使用、専門家ページング(expert paging)、および稀に使用される語彙行の排除といった特定の最適化により達成されました。

この機能は、レガシーな電子機器を能力あるローカル推論エンジンへと変容させ、高価な新ハードウェアやハイエンド GPU が不要なまま、大幅な速度向上(例:テレビボックスで 5.1 tokens/s)を実現します。本プロジェクトは、専用サーバーファームではなくリサイクルされた技術を通じてより多くの古いプロセッサとの互換性を拡大し、人工知能の普及を推進することを目的としており、その詳細は 160 回以上の実験が行われた広範なラボノートとして記録されています。

本文

ご所有の最小限のハードウェアで最大規模の言語モデルを実行する方法 (Smolmaxxing)

Smolmaxxing は、TV ボックスや古いタブレット、シングルボードコンピュータ、ルーターといった小型デバイスの性能限界を突破し、可能な限り大規模な言語モデルを実行するプロジェクトです。 このリポジトリに記載されているすべての数値は、実機上で測定されたものです。

✅ 既にテスト済みデバイスの実績

📺 Xiaomi TV Box S(第 3 世代)

項目詳細
チップAmlogic S7D(4 コア Cortex-A55)
RAM1.9 GB(利用可能約 1 GB)
OSAndroid 14(ルート未適用)
日常モデルQwen3.5-2B(7.7 トークン/秒)
Bonsai-1.7B (1 ビット)(24–26 トークン/秒)
最大モデルLing-mini-2.0 (16B)(5.1 トークン/秒)

📱 iPad Air(2013 年モデル)

項目詳細
チップApple A7(2 コア)
RAM1 GB(利用可能約 700 MB)
OSiOS 12.5.7(ジャイルブレイク済み)
日常モデルQwen3.5-2B(7.7 トークン/秒)
Bonsai-1.7B (1 ビット)(24–26 トークン/秒)
最大モデルLing-mini-2.0 (16B)(2.6–4.5 トークン/秒)

💡 重要な技術: 約 1 GB の RAM で 8B および 16B のモジュール化専門家(MoE)モデルを実行可能です。これは、各モデルの一部をメモリに残し、残りをフラッシュメモリから読み取るストリーミング技術によるものです。

🚀 今後対応予定のデバイス

スマートフォン、シングルボードコンピュータ、ルーターなどへの拡張が計画されています。この技術はハードウェアに依存しない設計です:

  • 1 ビットカーネル: 基本的な NEON 機能のみが必要です。
  • フラッシュストリーミング: RAM より大きなモデルを搭載したあらゆる Linux または Android デバイスで動作します。

⚙️ 仕組みについて

すべての機能は

llama.cpp
に施すパッチによって実現しています。

1. チップ向けに最適化されたカーネル

  • Cortex-A55: 2 ビットおよび三元値形式の 1 ビット用ルックアップテーブルを再パッケージ化。
  • Apple A7: ドット積演算指令を持たないバージョンへの対応。

2. モデルあたりの RAM 使用量削減

  • 不要な語彙の削除: 小さなモデルでほとんど使われない語彙の出力行を削除。
  • 「ヘッドレス」モード: TV ボックスなどでは、モデル実行中に不要な関数起動や Google サービスを停止可能にします。

3. フラッシュからページされた専門家(MoE)

  • 動的読み込み: トークンごとに一部の専門家のみを使用するため、頻繁に使う専門家は RAM に保持し、他は必要な時だけフラッシュから読み込みます。
  • 事前取得: 次のレイヤーのデータを事前に読み込むことで、8B および 16B モデルが 1 GB の環境でも動作します。

4. RAM より大きな密度型モデル用のストリーミング

  • フラッシュメモリを全速力で行うストリーミング処理を実現しています。

詳細な仕組みについては

docs/how-it-works.md
を参照してください。


🏁 クイックスタート

最も簡単な導入は、Hugging Face から用意されたモデルファイルを使用することです(※パッチ済み

llama.cpp
が必要です)。

デバイスタイプドキュメントへのリンク
TV ボックスまたは ARMv8.2 アンドロイドデバイス
docs/tv-box-setup.md
ジャイルブレイクされた iPad (iOS 12)
ipad-air/README.md

すべてのモデルファイルと再構築方法については

docs/models.md
を参照してください。

📚 ドキュメントガイド

文書名説明
docs/tv-box.mdデバイス #1:TV ボックスで実行された全モデル(速度と品質)。
ipad-air/README.mdデバイス #2:iPad Air の結果、セットアップ手順、スクリプト。
docs/how-it-works.mdカーネル、メモリ最適化、専門家ペーサー、ストリーミングエンジンについて。
docs/models.mdモデルダウンロード先、再構築ターゲット、チェックサム情報。
docs/lessons.md成功事例と失敗した試みについての記録。
EXPERIMENT.md完全な実験ノート:160 の実験成果および失敗例。

📂 リポジトリ構成

パス説明
patches/
TV ボックス向けの変更(iPad は
ipad-air/patches/
)
tools/
モデル再構築、GGUF リライティング、ベンチマーク、カーネルチェックツール
tv-llm-ui/
リアルタイムトークンストリームチャットページおよびランチャー
ipad-air/
iOS 12 ビルド、smolchat、展開スクリプト、ベンチマークスクリプト
bench/
全チャットベンチマーク (
results.jsonl
) および生ログ
data/
語彙リストと評価用テキスト
tiny-llm-web/
最初の実験:260K パラメータ規模の物語モデル
zigcc/
Zig ラッパー(クロスコンパイルによる静的 aarch64 バイナリ作成)

⚖️ ライセンスとクレジット

ライセンス: MIT
※

llama.cpp
のパッチは
llama.cpp
(MIT ライセンス)の派生物です。モデルウェイトや評価用テキストには各自のライセンスが適用されます。

主なクレジット:

  • 開発基盤:
    llama.cpp
    および
    llama2.c
  • モデル貢献者: Qwen, unsloth (GGUF/重要度行列), PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski & mradermacher (GGUF), Google (Gemma), stories260K
  • ジャイルブレイクツール: Amethyst (iOS 12)
  • バナー: Archivo (SIL OFL フォント)
  • ロゴ: Google Noto Emoji(「つまむ手」の絵文字) - Apache 2.0 ライセンス

同じ日のほかのニュース

一覧に戻る →

2026/11/13 3:39

Rust 1.100

## Japanese Translation: はい、元のサマリーは具体的な技術的な安定化の範囲を捉えたり、アロケータの機能に関する曖昧さを解消したりするために改善が必要です。 **改訂されたサマリー:** Rust チームは公式にバージョン 1.100.0 をリリースしました。これは長待たされてきた機能である「never type」(`!`)を安定化させ、より効率的でカスタマイズ可能なメモリ管理システムを構築するための強力な新 API を導入するマイルストーンです。このリリースには、トランザクションのような安全性を提供する `DropGuard` API、ゼロサイズタイプを作成するための `conjure_zst`、および `Vec` および `Box` 用のアロケータに特化したコンストラクタなど、主要な機能が追加されています。 アップグレードするには、ユーザーは `rustup update stable`を実行するか、`rustup` が不足している場合は Rust ウェブサイトからツールを直接ダウンロードしてください。ほとんどの変更は安全ですが、2024 年版より前のエディションのユーザーにとっては重要な不互換の変更があります:never type の内部フォールバックが `()` から `!` にシフトしました。開発者はコードを調整し、互換性を維持するために新しい `Infallible`アリアスを使用する必要があります。また、このアップデートは Cargo において重大な安全性の向上をもたらしており、未使用の依存関係に対するデフォルト警告や、サプライチェーンリスクを軽減するための最小公開年齢の設定などが含まれます。チームは、早期の問題発見に貢献し、よりスムーズなエコシステムの発展を実現するため、ユーザーがベータまたはナイトリーチャンネルで今後のリリースを試すことを推奨しています。

2026/11/13 3:52

ジェミニ4水和素およびオーケストレーター

## Japanese Translation: 本日、Google は独立した AI モデル「Gemini 4 Hydrogen」を発表し、人工知能分析指数(Artificial Analysis Intelligence Index)でスコア 51 を記録して Argon の 50 を上回るとともに、Terminal-Bench 4.1 で 57% のスコアを取得し、前 versions の 3.8 Flash バージョンの性能を 3 倍以上向上させました。このリリースでは、「Orchestrator」という動的システムが新たに導入されました。これは現在、Google AI Ultra サブスクリプションユーザーに利用可能であり、Hydrogen と Carbon 計画モデルを組み合わせることで複雑なワークフローを最適化します。静的ルーティングシステムとは異なり、Orchestrator は双方向のアプローチを採用しており、Carbon が読み取り専用フェーズと計画を担当し、Hydrogen が書き込み、編集、テストを担当します。Hydrogen が困難に遭遇した場合は、自動的に Carbon に戻って計画の修復を受け、その後再開を行います。この動的な協調により、Carbon のタスク成功率达到にほぼ匹敵しつつ、コンピューティングクォータは 24% 削減し、タスク完了を 19% 高速化を実現しています。開発者は Antigravity SDK を直接使用して多モデルパイプラインに対するプログラム制御を行うことができ、Hydrogen は推論深度の 4 レベル(low、medium、high、xhigh)を提供します。今後の更新では、オープンソースデモへのアクセスが拡大され、例えばエージェントが高速な反復と高レベルのセキュリティチェックの間で任務を分担する問題の分類など、新たなユースケースが追加される予定です。最終的に、このイノベーションは要求の高いソフトウェア開発タスクに対して効率的なリソース配分を提供し、速度や品質を損なうことなく高度な低遅延推論機能を備えています。

2026/11/13 6:13

Foundation Models フレームワーク (macOS)

## Japanese Translation: Apple の Foundation Models フレームワークは、大規模言語モデルをシームレスに統合するネイティブ Swift API を提供することで、アプリ開発を革新します。その最も重要な特徴は、オンデバイスまたはクラウドにあるどの AI モデルプロバイダーにも、複雑な設定なしでアクセスできるようにする統一プロトコルです。ガイド付き生成、ツール呼び出し、画像理解(マルチモーダルプロンプト、Vision フレームワークによる OCR、バーコードスキャンを含む)、ダイナミックプロファイルといった組み込みツールがワークフローを簡素化し、Evaluations フレームワークはプロンプトのテストおよび動的条件下での機能検証を可能にします。プライバシー重視の Private Cloud Compute は、ユーザーデータが安全な環境外に出るか Apple によって保存されることはありません。特に、App Store Small Business プログラムに登録しており、初回ダウンロード数が 200 万未満の開発者は、これらのリソースを無料でお使いいただけます。さらに、新しい Python SDK がエコシステムのリーチを広げ、人気ツールとの統合を容易にし、カスタムスキルやコンテキスト管理ヘルパーなどの実験的機能を備えたオープンソースユーティリティパッケージが提供されています。今後、macOS 27 ではフルアプリケーションを書かずに高速なスクリプト作成と自動化を実現する `fm` CLI ツールを導入します。多様なモデル機能—from オンデバイス機能から Claude サーバーサイドの巨人まで—を一元化することで、このフレームワークは開発を簡素化しユーザーデータを保護し、あらゆるデバイスにわたる AI 統合のための堅牢な未来を確立します。

LLM を小型・古いデバイス上で動作させています | そっか~ニュース