
2026/09/11 20:15
RTK はトークン節約を報告していますが、当社のコストベンチマークとは異なります。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Rust Token Killer (RTK) は、AI エージェントが読み取る前にターミナルデータを圧縮することでコスト削減を目的としています。しかし、厳密なテストの結果、財務上の利益をもたらさず、パフォーマンスに悪影響を与えることがしばしば見られます。RTK は確かに生データの出力サイズを削減しますが、課金される費用はむしろ安定したまま、あるいは増加することがあり、DeepSeek のようなモデルでは平均して最大 17% も上昇しています。これは、圧縮によって情報が歪められ、エージェントが必要のないコードのループを生成することを招き、タスクの成功率は約 1–2% 低下することから生じています。主要なコーディングエージェント(Fable および OpenCode)にわたるテストでは、一般的な出力の圧縮が運用上の節約につながり並不することが確認され、RTK は Fable においてコストを 5% 削減するものの、DeepSeek では全体として 5% の増加をもたらしました。 unsupported フラグによる無限ループに陥った DeepSeek の試行や、ターン数が少なかった単一タスクにおける偶発的な節約といった特定の異常事例でも、より広範な否定的な傾向を相殺できませんでした。RTK は特定のコール(例えば Bash)のみを対象とし、他のコール(Read、Grep など)は除外するため、かつモデルの出力がコストの大半を占めることを考えると、開発者は請求額を下げるためにログ圧縮に依存するだけでよいとは考えておらず、現状の戦略は現実世界の AI コーディングワークフローに必要な信頼性に欠れ、結果として支出とエラーリスクの両方を无意间増加させる可能性があります。
本文
RTK(Rust Token Killer)実装評価:コスト削減の真実は?
RTK(Rust Token Killer) は、AI エージェントがターミナル出力を読み取る前にフィルタリング・圧縮するツールです。GitHub で 79,000+ のスターを獲得し、現在最も注目されている AI コーディングのコスト削減ツールの一つです。
注目される理由
- 「Claude Code のトークン消費を最大 60% 削減できる」 という X(旧 Twitter)の投稿が 31 万 3,000 ビュー以上のアクセスを集めました。
⚠️ 実装前の重要注意点:コスト削減=ターミナル出力削減ではない
JetBrains が実施したベンチマークでは、期待された**「請求額の削減効果」は見られませんでした。**
README の注意書きには以下のように明記されています。
「RTK は、エージェントが読み取る bash 出力の最大 90% を削減します […] しかし、請求額自体を 90% 削減するものではありません。」
- ターミナル出力の削減 ≠ AI コーディングコストの削減
- RTK を導入することで**悪影響(ターン数増加や品質低下)**を招く可能性もあります。
本稿では、数日の試験運用および1,500 ドル以上のトークン費を投入した結果に基づく実証データを報告します。
1. RTK の仕組みと出力削減例
RTK は、シェルツール(Bash など)を通じたコマンド実行結果を再構成(リライティング)します。同等の内容を保ちつつ、出力を簡潔にします。
具体的な削減例:
- 保持する情報: ファイル名、サイズ、パーミッション(rw-r—r—)
- 削除する情報: 所有者名、日付
# 通常のコマンド実行結果 $ ls -la /app/warriors -rw-r--r-- 1 root root 824 Sep 13 2025 g2-clear.red -rw-r--r-- 1 root root 487 Sep 13 2025 paper.red # RTK を使用した再構成結果 $ rtk ls -la warriors/ 644 g2-clear.red 824B 644 paper.red 487B
2. Terminal-Bench 2.1 における評価検証
RTK のコスト削減効果を、ターミナルとの重度なインタラクションが必要なTerminal-Bench 2.1にて検証しました。より難易度の高いバージョン(3.0/4.0)ではなく、エージェントがクリアできるレベルの 2.1 を選定した理由は、「タスク完了時のみコスト削減の意味があるため」です。
実験条件
- モデル: Claude Code (Fable 5.0) × OpenCode (DeepSeek V4 Pro 0813)
- 試行回数: 各環境を RTK 使用・不使用で5 回ずつ実行(計 2,760 アテンプト)
- ※Fable のセキュリティ関連タスク(拒否回答あり)を除く:合計 1,740 アテンプト
- 制御: 同一のモデルルーティング、プラットフォーム、タイムアウト設定
チャート 1: 初期結果(希望的観測 vs 実態)
「完了率」だけで見ればコストは下がったように見えるが、失敗コストを含めると別状況。
| モデル | 環境 | 基準費用・完了率 | RTK 費用・完了率 |
|---|---|---|---|
| Claude Code | Fable 5.0 | $731 (84%) | $698 (83%) |
| OpenCode | DeepSeek V4 Pro | $51 (71%) | $54 (69%) |
- 完了率の低下: Fable で -1%p、DeepSeek で -2%p。
- 実質コスト(試行回数ごとの合計):
- Fable: RTK 利用で 3% コスト削減判定。
- DeepSeek: 7% コスト増となった。
チャート 2: タスク単位の重み付け評価
「高コストな単一タスクが結果を歪めないよう」に、各タスクを平等な重みで比較しました(基準試行回数の平均値との比較)。
| プラットフォーム | Fable 5.0 の変化 | DeepSeek の変化 | 合計請求額の変化 |
|---|---|---|---|
| Claude Code | -5% | +1% | ≈+0% (概算) |
| OpenCode | +5% | +17% | ≈+0% (概算) |
- Fable: 明確な差異はありません(1%p コスト増だが統計的有意差なし)。
- DeepSeek: タスクあたりのコストが平均して +17% 増加しました。失敗アテンプトを含め、36 つの全試行で成功したタスクでも増幅率は 18% に達しました。
🔍 結果を左右したのは「特定の単一タスク」
- Fable で RTK が節約した効果は、ほぼすべてタスク
に由来しました。winning-avg-corewars- ターン数は約半分になりましたが、他のタスクでは節約率は 1% を下回りました。
- DeepSeek では逆の結果。
- ターン数が増加しコストが高くなりました。
- この特定のタスクを除外しても、全体のコストは依然として高くなる傾向がありました。
3. RTK gain
は「節約された金額」として無意味
RTK gainRTK ドキュメントでは、「フィルタリング前後の出力バイト数差」を指標にしていますが、これは課金トークンの数ではありません。
DeepSeek の RTK アテンプト 445 回で報告された「保存されたトークン量」は 3.492 億(89% 削減)でしたが、実際のタスクコストの安さには直結していません。
具体例:train-fasttext
タスク
train-fasttext- モデルが
を 2 回要求。head -1 train.txt - RTK は「全体ファイルとの比較」として 1.205 億トークンの節約をカウントしましたが、モデルは実際には全体ファイルの内容を返したことがありませんでした。
- この 2 つの呼び出しだけで、RTK の「節約カウンター」の 69% を占める虚偽なデータが発生しました。
結論:
rtk gain は「削除された出力量」であり、「節約された金額(コスト)」ではありません。また、エージェントが次のターンを変化させ、そのターンのコスト(rtk gain に含まれない)が発生する可能性も無視できません。
4. RTK のバグとリスク:大きな損害の招き方
DeepSeek の
git-multibranch タスクで、エージェントがループにハマって停止した事例が発生しました。
-
原因:
がサポートしていないフラグ付きのrtk find
コマンドを実行しようとし、プラグインが書き換えを繰り返すエラー(find
)陷入了無限ループ。Use find directly- (この不具合は 0.46.0 で修正済み)
-
被害状況:
- 連続 339 のエラー(約 12 分間)が発生。
- タスク自体は完了したが、基準となるアテンプトと比較してコストが約 9 倍高くなった。
- この外れ値を除外しても、同様の傾向(コスト増)は維持されました。
RTK 適用率とターミナル出力削減の限界
RTK はシェルコマンドのみを書き換えることに特化しています。
- Claude Code: ターミナルコールのうち 31% が RTK を使用。
- OpenCode: ターミナルコールのうち 51% が RTK を使用。
しかし、RTK は以下のツールは**バイパス(無効化)**します:
,Read
,Grep
などのファイル読み込み・検索系ツール。Glob- 既に出力制限をかけたコマンド(
,head
,tail
など)。wc
ターミナル出力削減の実際:
- RTK を使用しない場合:Fable の入力トークンの約 11%、DeepSeek の約 40% を占める。
- RTK を使用した場合:
- DeepSeek: テーミナル出力文字は -9% 削減だが、プロンプトトークンは +9% 増加。
- キャッシュされた入力は +9% 増加(未キャッシュの入力は -1%)。
トークン膨張(Tokenflation)の問題
エージェントがターン数を増やした場合、総コストはそれだけ上昇します。
- DeepSeek のケース:
- RTK 導入アテンプトのうち、58 タスクでターン数が増加。うち 44 タスクでコストも高騰。
- 小規模なターンの削減(入力量の削減)は、追加されるエージェントターンのコストを上回るケースが多い。
これにより、**「小銭を節約するが、合計では損をする」**という状態になりました。JetBrains の SkillsBench でも同様のパターン(低負荷下でターン増加、高負荷下でコスト削減失敗)が観察されました。
5. 結論:RTK は AI コーディングを安くしない
- 効果は限定的: Terminal-Bench 2.1 で示された節約効果は、単一のタスク(
)に依存しており、汎用的なコスト削減ツールとしての効果はありません。winning-avg-corewars - 推奨しない: 現在の最先端モデル(Fable, DeepSeek V4 Pro など)は、すでにターミナル出力を効率的に処理しており(コンテキストの約 7% に留まる)、モデル自体が
やhead -n
でフィルタリングしています。tail -n - 旧世代向け: RTK はおそらく旧世代のモデルにおいて有益でしたが、今日においては「特定の分野での最適化技術」であり、一般的な節約源にはなり得ません。
推奨:
- 汎用的なコスト削減を目的とした導入は避けるべきです。
- 本稿の結果および今後の Headroom ベンチマークなどについては、詳細を追跡データ(追加調査要請)や購読を通じてご確認いただけます。
テスト環境: RTK 0.45.0, Claude Code 2.1.220, OpenCode 1.18.25, Harbor 0.20 追跡データの提供およびレビュー(Piotr Migdał 氏)に感謝します。