Japanese Translation:

Chad Gibson（Neuralwatt の共同創設者）によると、推論のエネルギーコストが高くなる主な要因はモデルアーキテクチャではなく、ハネス内のプロンプトキャッシュ戦略の不効率性です。システムが「キャッシュミス」に遭遇すると（これはツール更新、日付変更、または剪定などのプロンプト中での編集により頻繁に引き起こされます）、分岐点からトークンを再計算する必要があります。この単一のエラーは、数百回通常のユーザー相互作用とほぼ同等のエネルギーを消費することもあり得ます。例えば、GLM-5.3 ではキャッシュミスが発生すると、完全キャッシュされたリクエストに比べてエネルギー消費が約 2.5 倍増加し、past-128k トークンを含む深いセッションは特に高コストになります。

この問題を解決するためには、組織はセッション管理を最適化し、より賢いルーティング戦略を実装する必要があります。高度なハネスは、追加専用ログを採用し、ツールリストを安定させ、コンパクションを延期することで高い効率を実現しています。エネルギー消費の大部分を占める特定少数のリクエスト（深いシーケンスミスを持つもの）を対象とするようにすることで、企業は運用コストを大幅に削減しつつ、ファーストトークンまでの時間を改善できます。今後の改善では、ヒット率を向上させるプレフィックス感知型ルーターに焦点を当て、現在の非効率性を複雑な技術的刷新なしで持続可能な AI 展開のための重要なレバレッジへ転換すべきです。

AI エージェントのエネルギー効率化：キャッシュ破断の現状と対策

キャッシュ率とエネルギーコストの関係

AI システムにおいて、キャッシュの有無はリクエストの消費エネルギーに直接影響します。Neuralwatt の実験および本番環境分析から得られた主要な知見は以下の通りです。

キャッシュ率による未キャッシュトークンの割合:
- キャッシュ率 97% の場合：100 トークンあたり 3 トークンが未キャッシュ（プリフィル作業量は通常よりわずかに増大）。
- キャッシュ率 92% の場合：100 トークンあたり 8 トークンが未キャッシュ（プリフィル作業量は約 2.7 倍に増加）。
キャッシュミス（Miss）のコスト増幅:
- 一般的なモデル：キャッシュミスのリクエストは、消費エネルギーを概ね 2 倍にします。
- GLM-5.3 モデル：キャッシュミスの増幅率は約 2.5 倍です。
- 「ミス」の定義：入力トークンのうちプロンプトキャッシュが利用できない割合が 10% 未満のケースを指します。
深いセッション（長文脈）での高コスト化:
- コンテキストが 128k トークンを超えると、プロンプトの半分以上を再計算する必要があるターンが出現します。
- 再読み込みが必要なターンの 1 つのプリフィルコストは、同程度の深さでの通常のターン（約 600 回分）に匹敵します。

クライアントごとのキャッシュ性能の分析

すべてのリクエストで利用されるクライアントが記録されており、数百種類の異なるエージェントが確認されています。OpenCode や Pi などオープンソースツールに加え、独自アプリケーションや SDK も含まれます。

未キャッシュ入力トークンの割合による格差:
- 各クライアントは入力の大半をキャッシュしていますが、わずかな違いが効率に大きな影響を与えます。
- 例：キャッシュ率 92% のクライアントと 97% のクライアントでは、同じ会話においてプリフィル作業量が 2.7 倍の差が生じます。
ヒット率の要因:
- セッションが長いほどスコアは高くなります（新しいテキストがプロンプト全体に対する割合が小さくなるため）。
- より正確な指標は **「1 ターンあたりのキャッシュ破断回数」**です。
  - ```
  deepseek-harness
```
  : 100 ターンに約 1 回。
- ```
OpenCode
```
    /
```
Pi
```
    : 100 ターンに約 3 回。

キャッシュ破断の原因と影響

キャッシュ破断は、ハブネス（クライアント）がプロンプトを編集したり、システム状態が変化したりすることで発生します。

主な原因とコスト

要因	詳細	影響範囲
プランモードのリマインダー ( `OpenCode` )	「作動モードが変更されました」というメッセージの追加・削除で破断。	ターンあたり 330〜2,340 トークンの再読み込み。
ファイルの剪定 ( `omp` )	ファイルの再読み込み履歴を置換する処理で破断。	プロンプト途中（約 62%）で発生し、5,846 トークンの再読み込み。
推論 Effort の切り替え	プロンプト冒頭の数トークンを変更。	トークン番号 8 目以降がすべて再読み込み。
MCP サーバーの接続・切断	ツールリストの変更やシステムプロンプトの編集。	変更箇所からの再読み込み（GLM-5.3 では早期発症）。
日付の上書き	システムプロンプトの日付変更。	現地真夜中を越えると、ほぼ全コンテンツの再読み込み。

サーバー側の要因: メモリ圧力によるキャッシュの排他（エビクト）も破断原因の一つですが、ハブネスの編集と区別できません。
深層セッションの影響: セッション途中での設定変更（例：ターンの 200 で Effort を変える）は、初期段階に比べて大きな停止時間とエネルギーコストを招きます。

実験室と本番環境での発見

実験室テスト結果:
- 88% のリクエストが純粋な追加（キャッシュヒット）。
- 残り 12%（65 リクエスト）が破断を起こしましたが、すべてハブネスによる編集に起因し、チャートプレート誤作動ではなかったことが確認されました。
本番環境での傾向:
- ツールリストや Effort の変更は、キャッシュ破断の可能性を 20 倍以上に高め、平均で約 **40%**のコスト増を招きます。
- これらの影響の多くは、少数のユーザーに偏っていますが、蓄積されたコストは無視できません。

deepseek-harness の成功要因

deepseek-harness

は実験室および本番環境において、**すべてのリクエストがキャッシュヒット（純粋な追加）**として機能しています。そのためのプラクティス如下です。

追加専用ログからの再構築: 試行錯誤や再起動を伴うことなく、バイトレベルで同一のプロンプトを維持します。
固定かつ最小限のシステムプロンプト: 日付、Git ステータス、OS 情報を除外し、一度記述後は変更しません。
状態変更の遅延処理: スナップショットを追加して代替し、既存のプロンプトやメッセージを書き換えない設計です。
安定したツールリスト: ソート順を保ち、追加・削除を最小限に留めます。
慎重なコンパクション（要約）: 要約コールが既存のプレフィックスを再利用するよう設定します。

推奨アクション：キャッシュ効率を向上させる方法

ハブネスの構築者および利用者が取り組むべき具体的な対策です。

ハブネス構築・構成時

プロンプト冒頭の固定化: すべてのターンで冒頭を同一にし、変更（新しいメッセージやツール結果）を会話の末尾に配置します。
変化する情報の除外: 日付、Git ステータスなどをシステムプロンプトに入力しないようにします。
ツールの安定化: ソート順を保ち、常に末尾に新しいツールを追加する設計とします。
遅延コンパクション: サマライザーが正確なプレフィックスを再利用するように設定します。
セッション ID の維持:
```
X-NW-Conversation-ID
```
ヘッダーを送信し、コンパクションを超えてキャッシュを保持したままセッションを継続します。

ハブネス利用時

Effort の固定化: セッション途中で切り替えず、全体を通して推論 Effort を統一します。
omp 設定の確認:
```
compaction.supersedeReads: false
```
を有効に検討してください。
初期設定の確定: 長いセッションに入る前に、Effort、MCP サーバー接続、スキル追加などの設定を完了させます。

ダッシュボードでの確認方法

Neuralwatt の「Session Insights」機能を使用することで、以下を確認できます：

プロンプトトークンのうち何割がキャッシュから提供されているか。
コールド計算（再読み込み）の量。
ファーストトークン到達時間と消費エネルギー。
図 5: セッション途中で設定変更すると、赤い棒（破断コスト）が視覚的に確認できます。

結論：なぜ測定と対策が必要か

キャッシュ破断はエラーとして表示されず、回答は得られますがより遅く、多くのエネルギーを消費しています。

AI はエネルギーの上に成り立っています。無駄を防ぐことは、単なる開発者のセッションだけでなく、業界全体のデータセンターの効率化にも寄与します。
ほとんどの変更は、設定の微調整やハブネスのプロンプト構築方法を変えることで解消可能です。
Neuralwatt では、共有 KV キャッシュプールにより、セッションがサーバー間を移動しても再計算なしでロード可能な仕組みを整えています。

今後の取り組みとして、オープンソースハブネスへの推奨デフォルトの向上と、プロンプト冒頭の編集後のキャッシュ再利用技術の研究が進められます。

なぜハーネスがエネルギー（およびトークン）効率にとって重要なのか