← 2026-07-12 の一覧へ戻るホーム
Show HN: Reame — 動作するほど高速化する CPU 推論サーバー

2026/07/12 1:27

Show HN: Reame — 動作するほど高速化する CPU 推論サーバー

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

Reame は、低価格 CPU ハードウェア（共有仮想コアやエントリーレベル ARM ボックスを含む）での効率的な LLM 実行を最適化されたオープンソース推論サーバーであり、高価な GPU クラスターへの依存を回避します。llama.cpp をベースにしており、その核心的な革新は「2 回も計算しない」戦略で、永続的な共有プレフィックス KV キャッシュと生成アーカイブを活用し、反復クエリ間のコンテキストの再利用によってコストを劇的に削減します。文書抽出、バッチデータ処理、プライバシーが重要なタスクなど、狭く反復的なワークロード向けに設計されており、軽量モデル（例：Qwen2.5、TinyLlama）をゼロコストドラフティング、スペキュレーティブデコーディング、コンセンサス投票などの技術で強化することで、モデルサイズを拡大せずとも高い精度を維持します。特定のパイプラインでは優れ厳格なプライバシー要件もサポートしますが、複雑な推論、エージェント型コード作成、またはクリエイティブな長文執筆には適していません。ユーザーは簡単なコマンドまたは標準的な OpenAI 互換 API を介して即座に Reame をデプロイでき、既存インフラにおけるエネルギー効率の高い「ワットスケー」AI 利用のための無料の MIT ライセンス済みソリューションを提供します。

本文

Reame: CPU 最適化軽量 LLM 推論サーバーの完全ガイド

LLaMA.cpp を基盤とした軽量かつ検証済みの LLM 推論サーバー「Reame」です。既に保有するハードウェア（共有 vCPU、無料枠サービス、ARM ボックス等）を有効活用し、安価な CPU も「第一等級の市民」として扱います。

🎯 核心理念

  • CPU で計算を効率化: 同じ計算を二度行わないことを重視します。
  • コンテキスト駆動: 答えが一般的な知識ではなく、ユーザー提供のコンテキストにある場合に最も適しています。
  • コスト削減: Reame のメモリ技術により、100 件目のリクエストコストを 1 件目のごく一部に抑えられます（例：2 コア ARM ボックスで長文脈情報抽出タスクにおいて 7B パラメータモデルでも 100% 精度達成）。

🚀 適している用途

Reame は、費用を負担するハードウェア上で反復的な AI タスクを実行するために最適です。

使用ケース適合理由推奨モデル
ドキュメント抽出・分類 (RAG, 請求書など)答えがコンテキスト内にあるためディスクキャッシュ有効。プロンプト間で共通 prefix が存在する。
Qwen2.5 1.5B–7B
バッチ処理パイプライン (大量タグ付け、メール選別)反復的タスクのため、ゼロコストでドラフト作成可能（Palimpsest 機能）。レート制限なし。
Qwen2.5 1.5B–3B
薄利 SaaS 向け AI 機能ユニット経済性を維持し、高価な API に代わる低コスト解像が可能。
Qwen2.5 1.5B–7B
プライバシー重視業務 (法務，医療)データが外部に流出せず、主権性が保証されます。
Qwen2.5 7B
プライベートコード自動補完 (Continue.dev)行単位の狭いタスクであり、ローカルに留まります。
Qwen2.5-Coder 1.5B

🚫 向いていない用途

  • 汎用チャット: 最先端の推論能力や広範な知識には大規模パラメータ数が必須のため、ChatGPT の完全な代替にはなりません。
  • クリエイティブ・ロングフォームライティング: 大規模な創造的作業には不向きです。
  • 100B クラスの思考: 超巨大な脳力を必要とするタスクは回避してください（購入推奨）。

✨ コア機能 (CPU 最適化技術)

  • 🗂️ 永続共有プレフィックス KV キャッシュ
    • プロンプトの prefix をディスク（zstd 圧縮）にスナップショット。再起動やプロセス間でも再利用可能。
    • システムプロンプトは最初のユーザーが一回しか支払いません。
  • 📜 Palimpsest (生成内容記憶)
    • 完了した生成をオンディスク n-gram アーカイブとして保存。将来のリクエストでゼロコストのドラフト作成が可能に。
  • 🎭 Il Suggeritore (文法ガイド)
    • リスト番号やフォーマットトークンなど、構造を用いてトークンを提案（制約付きデコーディングを逆転）。誰も生成していないコンテンツでも仮説的に推測。
  • 🔮 自律型 Speculative Decoding
    • 小型のドラフトモデルまたはゼロコストな n-gram でトークンを提案し、ターゲットモデルで一括検証。
    • 非効率な場合は自動オフスวิตช์。
  • 🏛️ The Conclave (コンセンサス選別) 
    • --best-of N
      オプションにより、N つの候補回答を生成して多数決で勝者を決定。
    • 絶対的多数が合意したら遅延プロセスを停止（既に実行中のモデルから追加の正解を引き出す）。
  • 👥 インターリーブされたマルチユーザー処理
    • N 人の同時生成を単一のバッチ内で連動し、メモリ制約のコストを共有。
  • 🌐 OpenAI 互換 REST API 
    • /v1/completions
      , 
      /v1/chat/completions
      , SSE ストリーミング、セッション管理対応。
  • ⚡ コンフィグ不要 CLI 
    • reame run
      コマンドでモデルダウンロードから自動設定まで一瞬で開始可能。
  • 🧪 210 の孤立テストケース
    • モデルなしでのモックテストや、多重シーケンスパスの正しさを検証。

📊 測定済み実績とベンチマーク (非公式保証)

すべての数値は、指定されたハードウェア上で実行したバイナリの結果です。

ベンチマーク結果一覧

ハードウェアモデル・設定結果
Oracle Cloud 無料枠 (2× ARM, 12 GB)Qwen2.5-7B (
KV q8_0
)
3.3 tok/s
Apple M3 Pro (6 スレッド)Qwen2.5-1.5B (
Q4_K_M
)
52 tok/s
共有 Contabo VPS1.5B + ドラフト、Speculative3.2× スピードアップ
共有 Contabo VPSTinyLlama、ウォームキャッシュ活用4.8× エンドツーエンド加速
Apple M3 Pro反復リクエスト (アーカイブ speculation)2.3× 加速 (
22→51 tok/s
)
Oracle CloudOLMoE 7B-A1B vs dense 7B同等精度。OLMoE は 
3.3
に対し、dense は 
5.4×
遅い場合あり。

⚠️ 重要な 3 つの負の結果（知っておくべき限界）

  1. 30B クラス MoE モデルの速度: 抽出質問では精度は高いですが、7B モデルより 10 倍遅い。答えがコンテキストにある場合、追加パラメータは購入してもメリットがない（MoE の prefill が重い）。
  2. 共有 vCPU 環境での speculation: 過剰にシェアされた環境ではドラフトモデル自体が遅く、speculation は無意味。Reame はこれを検知し自動で機能をオフ。
  3. Conclave の限界: 困難な推論において、二倍のサイズを持つモデルとのギャップを完全に埋めるわけではありません（ランダムなミスを修正することはできても、体系的な誤解は修正できない）。

⚙️ 動作原理と技術概要

  • 共有プレフィックスディスクキャッシュ: プロンプトは固定トークンブロックに分割され、チェーンハッシュで KV スナップショットをキーにします。スナップショットは NVMe に保存するため再起動後も生存（GPU レジデン特異的なキャッシュとは異なる）。
  • 自律型 Speculation の強化:
    • ドラフト源として無料の n-gram 照会を利用可能。
    • フィードバックコントローラーが受容率や経済性を監視し、悪化すれば自動オフ。
  • The Conclave の仕組み: 
    • --best-of N
      で N 回の試行をインターリーブスケジューラに提出。
    • プロンプト KV を複製して検証（冗長な prefill を削減）。
    • Jaccard テキストメディアンフォールバックを使用し、多数決で勝者を決定。

🛠️ クイックスタート

# モデルカタログと既ダウンロード内容を表示
reame list 

# 初回実行（自動ダウンロード + 設定 + チャット開始）
reame run qwen2.5-1.5b 

# ワンショット回答
reame run qwen2.5-1.5b "Explain mmap"

# OpenAI 互換 API サーバー起動 (:8080)
reame run qwen2.5-1.5b --serve 

# The Conclave を使用して複数候補生成 (例：8 問クイズを加速)
reame run qwen2.5-1.5b '12*13-50?' --best-of 5

動作原理: 

run
コマンドはモデルカタログを解決し、初回に 
~/.reame/models
にダウンロード。ホスト適合のスレッド、KV 量子化、キャッシュディレクトリを自動設定します。

📥 インストール方法

1. Homebrew (macOS / Linux)

brew tap swellweb/reame
brew install reame

2. プリビルトバイナリ

  • リリースページから Linux 
    x64
    /
    arm64
    と macOS 
    arm64
    のバイナリを取得可能。
  • 依存: 
    libzstd
    のインストールが必要です。

3. npm

npx reame

（注：プラットフォームごとにバイナリが構築済み。将来的に計画予定。）

🏗️ ソースからのビルド

クローンと準備

git clone https://github.com/swellweb/reame
cd reame
# LLaMA.cpp サブモジュールの初期化
git submodule update --init --depth 1 third_party/llama.cpp

ビルド

./build.sh                          # リリースビルド + 210 テストケース実行
./scripts/download_models.sh        # テストモデル（TinyLlama, ~670 MB）をダウンロード

コンパイル例と依存関係

要件: CMake ≥ 3.16、C++17 コンパイラ。

Debian/Ubuntu インストール:

sudo apt install build-essential cmake libboost-dev nlohmann-json3-dev libzstd-dev pkg-config

macOS インストール:

brew install cmake boost nlohmann-json zstd pkg-config

コマンド例

./build/src/reame --config config/reame.conf --prompt "Hello" --max-tokens 32
./build/src/reame --config config/reame.conf --serve

⚙️ 設定ハイライト (INI ファイル)

[model]
path = models/qwen2.5-7b-instruct-q4_k_m.gguf
context_length = 4096      # 総 KV バジェット（並列処理時には共有）
threads = 4                # 共有 vCPU では少なめが速い場合あり

[memory]
kv_cache_type = q8_0       # f16 | q8_0 | q4_0 (RAM コスト削減用)

[speculative]
enabled = true
mode = lookup              # model (ドラフトモデル)| lookup (追加モデル不要)

[cache]
directory = .reame-cache
max_size_mb = 4096         # ディスク上の LRU バジェット

[server]
port = 8080
api_key =                  # Bearer 認証用
parallel = 1               # >1 でインターリーブマルチユーザー処理を有効化

🌐 API エンドポイント

メソッドエンドポイント説明
POST
/v1/completions
テキスト補完（SSE ストリーミング対応）
POST
/v1/chat/completions
チャット対話補完
POST
/v1/sessions
, 
/save
, 
/load
, 
/delete
KV セッションスナップショット管理
GET
/metrics
リクエストカウンター + speculative/キャッシュメトリクス
GET
/health
ライビネスチェック（認証不要）

💡 エネルギー効率について

Reame は「ワット規模」のフットプリントを持ちます。既存の電源入っている機械を再利用するため、新しいシリコンラックが必要ではありません。サンプリングされたデータセンター GPU より「ジュール・パー・トークン」が優れていることを主張しますが、新規ハードウェア購入は不要であることを強調します。

📌 ステータスと範囲

  • 現状: 若く、CPU 専用サービスです。
  • 保証事項: プロセスごとに一つのモデル、各レイヤーでテストにより正しさを保証。
  • 非対象: GPU オフロード、学習（微調整）、高度なモデル管理 UX は現状サポートされていません。
  • llama.cpp: 既知の良質なコミットに固定され、意図的に更新されます。

❓ なぜ Reame か？(Ollama との違い)

両者はどちらも 

reame run
または 
ollama run
で簡単に使えますが、そこでの哲学が異なります。

Ollama はモデルを実行する。 Reame はそれらを実行したことを記憶している。

  • 汎用的サーバー (Ollama 等): 各リクエストを新品扱いし、計算→廃棄を繰り返します（GPU では安価だが、CPU では高価な計算の浪費）。
  • Reame: ディスク prefix キャッシュ、生成アーカイブ、自律型 speculation などにより、**「すでにやった計算を再利用」**することで、100 件目のリクエストコストを極小化します。

💰 サポートとライセンス

  • Reame は MIT ライセンスで提供され、無料で構築されています（夜間の作業と無料枠ハードウェア上で）。
  • API 請求や GPU レンタルを節約できる場合、スポンサーシップへの検討が可能です（ロードマップ：共有メモリアーモンド 
    ARCA
    など）。

🙏謝辞・ライセンス

Reame は llama.cpp (MIT) に基づいており、以下の技術の知見を吸収しています。

  • 思考: antirez の DwarfStar4 (ディスク優先キャッシュ)
  • アルゴリズム: DeepSeek の DSpark, Leviathan/Chen の speculation サンプリング定理
  • 形式: 検索ベース speculations, 文法制約デコーディング逆転

ライセンス: MIT。llama.cpp の上に構築されたオープンソースソフトウェアです。

同じ日のほかのニュース

一覧に戻る →

2026/07/12 7:38

イロウによる分散AI計算のためのメッシュ LLM

## Japanese Translation: ## 概要： Mesh LLM は、既存の GPU およびメモリを何台ものマシンから集約し、中央サーバーを必要としない軽量なインフラストラクチャとして統合することで、チームが人工知能を利用する方法を根本的に変革します。これは、OpenAI 互換 API（デフォルトアドレス：`localhost:9337/v1`）としてこの統合されたコンピューティングリソースを公開し、組織が高価でブラックボックス化しているクラウドプロバイダーへの依存を排除しながら、モデルの更新、データルーティング、および下位のハードウェアに対する完全な制御を維持できるようにします。これによりコストを増加させることはありません。 アーキテクチャは、MCP、HTTP、インференスストリーム、およびメッシュイベントを通じて暴露されるマニフェストベースのプラグインシステムにより拡張可能であり、ノートパソコンサイズから 235B パラメータの巨人までをカバーする 40 以上のモデルをサポートします。235B パラメータなど的大規模な mixture-of-experts モデルについては、Mesh LLM は内部名称「Skippy」を持つ「Split mode」を採用しており、モデルレイヤーを順次ステージに分割し、ピアツーピアルーティングを用いて活性化を適度なマシンのパイプラインを通って流します。 ネットワーク管理は、iroh エンドポイントメッシュによって行われ、ここで各ノード（サーバーまたはクライアント）は公開鍵を使用して独自のアイデンティティとして機能し、中央コーディネーターの必要性はありません。接続は認証されており、iroh リレーによる NAT 通過可能な QUIC セッションが支援され、地域をまたいでヒールパンチ/リレーフォールバック機構が備わっています。プロトコルには、ゴシップ、ルーティング、HTTP 用の`mesh-llm/1`、所有者コントロールプレーンのための`mesh-llm-control/1`、低遅延に敏感な活性化輸送のための`skippy-stage/2`という 3 つの特別な QUIC ALPN が使用されます。メイン接続内では、すべてのトラフィックは先頭のバイトでデマルックスされた双方向の QUIC ストリームとなり、特定のタイプ（`GOSSIP`、`TUNNEL_HTTP`、`ROUTE_REQUEST`、`PEER_DOWN`、`PLUGIN_CHANNEL` など）に分類されます。 ソフトウェアは非常に軽量であり、インストールには約 18 MB を必要とします。公開メッシュへの参加やベンダーロックインのないプライベートデプロイメントの完全な構成が可能です。将来の計画には、iroh の Swift SDK で構築された専用モバイルアプリが含まれており、これは台頭しつつあるエージェント通信プロトコル（ACP）をサポートし、他のクライアントがメッシュにシームレスに接続できるようにします。セキュリティ、バージョン互換性、および信頼に関する判断は、カスタムゴシップレイヤーを介して内部で管理され、スケーリングやネットワーク構成に関わらず自律性を確保しています。

2026/07/12 6:58

ゼロから設計されたオープンソースの携帯型ゲーム機「RISCBoy」

## Japanese Translation: RISCBoy は、RISC-V 互換 CPU とラスタグラフィックスパイプラインを从头設計されたオープンソースの携帯用ゲームコンソールです。その主要な成果は、合成可能な Verilog 2005 で記述され、完全に検証されたプロセッサ設計であり、Lattice iCE40-HX8k（7680 ロジック要素を使用、LUT4 ベース）などの特定 FPGA ハードウェアをターゲットとしています。プロジェクトは RV32IMC インスピーションセットに厳密に従い、M モード制御レジスタ、例外処理、ベクトored 外部割り込み向けの準拠拡張機能といった本質的な機能を実装することで、アーキテクチャ準拠の他、riscv-formal サイスイツを使用して厳格な形式的検証も実施しています。完全なソースコードは `git clone --recursive https://github.com/Wren6991/RISCBoy.git` で入手可能で、サブモジュールが必要な場合は手動での更新が必要です。開発には RV32IMC ツールチェーン（`./configure --with-arch=rv32imc` で構築）と Xilinx ISIM 14.x（Linux 専用）によるシミュレーション、そして `scripts/` フォルダ内の makefile を使用します。合成にはオープンソースのツールチェーンが使用され、Yosys が合成、nextpnr が配置・配線、Project Icestorm がビットストリーム生成を担当し、Lattice HX8k 評価ボード（`HX8k-EVN.mk`）や実験的な ECP5 サポート（`ECP5-EVN.mk`）などのターゲットをサポートしています。`hdl` ディレクトリにはバスファブ、グラフィックスユニット、hazard5 プロセッサコアの Verilog ソースが含まれており、`test` ディレクトリには Verilog テストベンチとソフトウェアケースを含む回帰テストが格納されています。現在、量産は iTead の 4 レイヤープロトタイピングサービスを活用し、10 ユニットを $65 で提供する Rev A PCB から開始されており、これらツールの合成と配線に使用されています。新たな Rev B PCB がゲートウェアの成熟に合わせて待機しています。この進化は、高レベルのソフトウェア開発と低レベルのハードウェアアーキテクチャを橋渡しする完全にカスタマイズ可能なプラットフォームを求める愛好家やエンジニアにとって意義のあるステップであり、現代のオープンソースコンピューティングエコシステムへの具体的な一瞥を提供しています。

2026/07/12 8:54

オデッセイ Linux

## Japanese Translation: 提供されたテキストには、本物のニュース記事、議論、または物語は含まれておらず、そのため、そのプレースホルダー的な性質を超えて主要メッセージを抽出することは不可能です。概して、コンテンツは「$ code」などの一般的なラベルを含む構造的テンプレートとして機能しだけであり、これは具体的な技術詳細のない抽象的なプログラミング概念を表しています。「$ constitution」や「$ governance」といった用語も、ここでは定義された法的・政治的文脈を欠いています。実際の出来事、意見、または事実主张を記述する文がないため、資料は歴史的背景、具体的な日付、または製品名を確立できていません。したがって、将来の動向に関する前向きな声明、予測、またはタイムラインも含まれていません。特定のユーザー、企業、産業を特定していないため、このコンテンツによって誰が影響を受ける可能性があるかを判断することはできません。記述言語が欠如していることは、いまだに核心的情報が表明されていないことを示しています。一言で言えば、文書は静的であり、読者が全体概要または潜在的な影響を理解しようとするとアクション可能な知見、データ、あるいは意味ある主題事項を全く含んでいません。 ## Text to translate The original summary is concise, accurate, and logically consistent with the provided key points. It clearly communicates that the document is a structural template devoid of substantive information. No improvements are necessary. ## Summary The provided text offers no substantive news story, argument, or narrative, making it impossible to derive a main message beyond its placeholder nature. Essentially, the content functions only as a structural template containing generic labels like "$ code," which represents abstract programming concepts without specific technical details, and terms such as "$ constitution" or "$ governance" that lack defined legal or political contexts here. Because there are no sentences describing actual events, opinions, or factual claims, the material fails to establish any historical background, specific dates, or product names. Consequently, the text contains no forward-looking statements, predictions, or timelines regarding future developments. Without identifying specific users, companies, or industries, it is impossible to determine who might be impacted by this content. The absence of descriptive language confirms that no core information has been articulated yet. In short, the document remains static and devoid of actionable intelligence, data, or any meaningful subject matter for a reader seeking to grasp an overall gist or potential consequences.