RTK はトークン節約を報告していますが、当社のコストベンチマークとは異なります。

2026/09/11 20:15

RTK はトークン節約を報告していますが、当社のコストベンチマークとは異なります。

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

Rust Token Killer (RTK) は、AI エージェントが読み取る前にターミナルデータを圧縮することでコスト削減を目的としています。しかし、厳密なテストの結果、財務上の利益をもたらさず、パフォーマンスに悪影響を与えることがしばしば見られます。RTK は確かに生データの出力サイズを削減しますが、課金される費用はむしろ安定したまま、あるいは増加することがあり、DeepSeek のようなモデルでは平均して最大 17% も上昇しています。これは、圧縮によって情報が歪められ、エージェントが必要のないコードのループを生成することを招き、タスクの成功率は約 1–2% 低下することから生じています。主要なコーディングエージェント(Fable および OpenCode)にわたるテストでは、一般的な出力の圧縮が運用上の節約につながり並不することが確認され、RTK は Fable においてコストを 5% 削減するものの、DeepSeek では全体として 5% の増加をもたらしました。 unsupported フラグによる無限ループに陥った DeepSeek の試行や、ターン数が少なかった単一タスクにおける偶発的な節約といった特定の異常事例でも、より広範な否定的な傾向を相殺できませんでした。RTK は特定のコール(例えば Bash)のみを対象とし、他のコール(Read、Grep など)は除外するため、かつモデルの出力がコストの大半を占めることを考えると、開発者は請求額を下げるためにログ圧縮に依存するだけでよいとは考えておらず、現状の戦略は現実世界の AI コーディングワークフローに必要な信頼性に欠れ、結果として支出とエラーリスクの両方を无意间増加させる可能性があります。

本文

RTK(Rust Token Killer)実装評価:コスト削減の真実は?

RTK(Rust Token Killer) は、AI エージェントがターミナル出力を読み取る前にフィルタリング・圧縮するツールです。GitHub で 79,000+ のスターを獲得し、現在最も注目されている AI コーディングのコスト削減ツールの一つです。

注目される理由

  • 「Claude Code のトークン消費を最大 60% 削減できる」 という X(旧 Twitter)の投稿が 31 万 3,000 ビュー以上のアクセスを集めました。

⚠️ 実装前の重要注意点:コスト削減=ターミナル出力削減ではない

JetBrains が実施したベンチマークでは、期待された**「請求額の削減効果」は見られませんでした。**

README の注意書きには以下のように明記されています。

「RTK は、エージェントが読み取る bash 出力の最大 90% を削減します […] しかし、請求額自体を 90% 削減するものではありません。」

  • ターミナル出力の削減 ≠ AI コーディングコストの削減
  • RTK を導入することで**悪影響(ターン数増加や品質低下)**を招く可能性もあります。

本稿では、数日の試験運用および1,500 ドル以上のトークン費を投入した結果に基づく実証データを報告します。


1. RTK の仕組みと出力削減例

RTK は、シェルツール(Bash など)を通じたコマンド実行結果を再構成(リライティング)します。同等の内容を保ちつつ、出力を簡潔にします。

具体的な削減例:

  • 保持する情報: ファイル名、サイズ、パーミッション(rw-r—r—)
  • 削除する情報: 所有者名、日付
# 通常のコマンド実行結果
$ ls -la /app/warriors
-rw-r--r-- 1 root root  824 Sep 13  2025 g2-clear.red
-rw-r--r-- 1 root root  487 Sep 13  2025 paper.red

# RTK を使用した再構成結果
$ rtk ls -la warriors/
644  g2-clear.red  824B
644  paper.red  487B

2. Terminal-Bench 2.1 における評価検証

RTK のコスト削減効果を、ターミナルとの重度なインタラクションが必要なTerminal-Bench 2.1にて検証しました。より難易度の高いバージョン(3.0/4.0)ではなく、エージェントがクリアできるレベルの 2.1 を選定した理由は、「タスク完了時のみコスト削減の意味があるため」です。

実験条件

  • モデル: Claude Code (Fable 5.0) × OpenCode (DeepSeek V4 Pro 0813)
  • 試行回数: 各環境を RTK 使用・不使用で5 回ずつ実行(計 2,760 アテンプト)
    • ※Fable のセキュリティ関連タスク(拒否回答あり)を除く:合計 1,740 アテンプト
  • 制御: 同一のモデルルーティング、プラットフォーム、タイムアウト設定

チャート 1: 初期結果(希望的観測 vs 実態)

「完了率」だけで見ればコストは下がったように見えるが、失敗コストを含めると別状況。

モデル環境基準費用・完了率RTK 費用・完了率
Claude CodeFable 5.0$731 (84%)$698 (83%)
OpenCodeDeepSeek V4 Pro$51 (71%)$54 (69%)
  • 完了率の低下: Fable で -1%p、DeepSeek で -2%p
  • 実質コスト(試行回数ごとの合計):
    • Fable: RTK 利用で 3% コスト削減判定。
    • DeepSeek: 7% コスト増となった。

チャート 2: タスク単位の重み付け評価

「高コストな単一タスクが結果を歪めないよう」に、各タスクを平等な重みで比較しました(基準試行回数の平均値との比較)。

プラットフォームFable 5.0 の変化DeepSeek の変化合計請求額の変化
Claude Code-5%+1%≈+0% (概算)
OpenCode+5%+17%≈+0% (概算)
  • Fable: 明確な差異はありません(1%p コスト増だが統計的有意差なし)。
  • DeepSeek: タスクあたりのコストが平均して +17% 増加しました。失敗アテンプトを含め、36 つの全試行で成功したタスクでも増幅率は 18% に達しました。

🔍 結果を左右したのは「特定の単一タスク」

  • Fable で RTK が節約した効果は、ほぼすべてタスク
    winning-avg-corewars
    に由来しました。
    • ターン数は約半分になりましたが、他のタスクでは節約率は 1% を下回りました。
  • DeepSeek では逆の結果
    • ターン数が増加しコストが高くなりました。
    • この特定のタスクを除外しても、全体のコストは依然として高くなる傾向がありました。

3.
RTK gain
は「節約された金額」として無意味

RTK ドキュメントでは、「フィルタリング前後の出力バイト数差」を指標にしていますが、これは課金トークンの数ではありません

DeepSeek の RTK アテンプト 445 回で報告された「保存されたトークン量」は 3.492 億(89% 削減)でしたが、実際のタスクコストの安さには直結していません。

具体例:
train-fasttext
タスク

  • モデルが
    head -1 train.txt
    を 2 回要求。
  • RTK は「全体ファイルとの比較」として 1.205 億トークンの節約をカウントしましたが、モデルは実際には全体ファイルの内容を返したことがありませんでした。
  • この 2 つの呼び出しだけで、RTK の「節約カウンター」の 69% を占める虚偽なデータが発生しました。

結論:

rtk gain
は「削除された出力量」であり、「節約された金額(コスト)」ではありません。また、エージェントが次のターンを変化させ、そのターンのコスト(
rtk gain
に含まれない)が発生する可能性も無視できません。


4. RTK のバグとリスク:大きな損害の招き方

DeepSeek の

git-multibranch
タスクで、エージェントがループにハマって停止した事例が発生しました。

  • 原因:

    rtk find
    がサポートしていないフラグ付きの
    find
    コマンドを実行しようとし、プラグインが書き換えを繰り返すエラー(
    Use find directly
    )陷入了無限ループ。

    • (この不具合は 0.46.0 で修正済み)
  • 被害状況:

    • 連続 339 のエラー(約 12 分間)が発生。
    • タスク自体は完了したが、基準となるアテンプトと比較してコストが約 9 倍高くなった
    • この外れ値を除外しても、同様の傾向(コスト増)は維持されました。

RTK 適用率とターミナル出力削減の限界

RTK はシェルコマンドのみを書き換えることに特化しています。

  • Claude Code: ターミナルコールのうち 31% が RTK を使用。
  • OpenCode: ターミナルコールのうち 51% が RTK を使用。

しかし、RTK は以下のツールは**バイパス(無効化)**します:

  • Read
    ,
    Grep
    ,
    Glob
    などのファイル読み込み・検索系ツール。
  • 既に出力制限をかけたコマンド(
    head
    ,
    tail
    ,
    wc
    など)。

ターミナル出力削減の実際:

  • RTK を使用しない場合:Fable の入力トークンの約 11%、DeepSeek の約 40% を占める。
  • RTK を使用した場合:
    • DeepSeek: テーミナル出力文字は -9% 削減だが、プロンプトトークンは +9% 増加
    • キャッシュされた入力は +9% 増加(未キャッシュの入力は -1%)。

トークン膨張(Tokenflation)の問題

エージェントがターン数を増やした場合、総コストはそれだけ上昇します。

  • DeepSeek のケース:
    • RTK 導入アテンプトのうち、58 タスクでターン数が増加。うち 44 タスクでコストも高騰。
    • 小規模なターンの削減(入力量の削減)は、追加されるエージェントターンのコストを上回るケースが多い。

これにより、**「小銭を節約するが、合計では損をする」**という状態になりました。JetBrains の SkillsBench でも同様のパターン(低負荷下でターン増加、高負荷下でコスト削減失敗)が観察されました。


5. 結論:RTK は AI コーディングを安くしない

  • 効果は限定的: Terminal-Bench 2.1 で示された節約効果は、単一のタスク(
    winning-avg-corewars
    )に依存しており、汎用的なコスト削減ツールとしての効果はありません。
  • 推奨しない: 現在の最先端モデル(Fable, DeepSeek V4 Pro など)は、すでにターミナル出力を効率的に処理しており(コンテキストの約 7% に留まる)、モデル自体が
    head -n
    tail -n
    でフィルタリングしています。
  • 旧世代向け: RTK はおそらく旧世代のモデルにおいて有益でしたが、今日においては「特定の分野での最適化技術」であり、一般的な節約源にはなり得ません

推奨:

  • 汎用的なコスト削減を目的とした導入は避けるべきです。
  • 本稿の結果および今後の Headroom ベンチマークなどについては、詳細を追跡データ(追加調査要請)や購読を通じてご確認いただけます。

テスト環境: RTK 0.45.0, Claude Code 2.1.220, OpenCode 1.18.25, Harbor 0.20 追跡データの提供およびレビュー(Piotr Migdał 氏)に感謝します。

同じ日のほかのニュース

一覧に戻る →

2026/09/12 2:45

数学における AI のズレ

## Japanese Translation: 数学問題を利用した AI ベンチマークは、企業の目標と基礎研究の価値の間で危険な不一致を生じさせ、数学および学術コミュニティに深刻な害をもたらすと主張しています。AI に回答を求めることは、真の洞察や新しいアイデアを育むのではなく、理解のための単なる代理手段となるのみです。また、急遽策された解決策はしばしば適切な出典を認めておらず、広範な剽窃のリスクを負います。さらに、単純な正誤問題を大量生産することは、学生を育成し、人間の相互作用を通じて洗練された概念を発達させるために必要である豊穣な環境を破壊します。 数学は蓄積された知識に依存しており、有名な問題は教科書に掲載されるまでに長期間の議論を要するランドマークとして機能します。このプロセスは研究者間の本質的な人的伝達チェーンを保証します。理解に基づいてトレーニングする年数を AI による直接的な結果生成に取って代わられる場合、知的作業の当初の目的に反する体系的脅威が浮上します。現在数学者が直面しているこれらのリスクは、対処されない限り、間もなくすべての科学的および創造的な職業に影響を及ぼす可能性があります。結局のところ、この分野が利益を得るかどうかは、今後人間の側がこの技術に関する意思決定によって決まります。したがって、研究者、テクノロジー企業、社会が直ちに行動を起こし、人類の知的進歩を守り、学生の発達という貴重な資源と独自のアイデアを維持する必要があります。

2026/09/12 3:24

Google アプリ広告に220ドル費やしましたが、インストールの60%がロボットでした。

## Japanese Translation: 「Dayzle」というパズルアプリを開発していた開発者が、日間の広告予算を CA$40 から CA$80 に倍額に引き上げたことが、キャンペーン設定の抜け穴を利用した高度なボット農場によるものであったと最近発見しました。当初、初期結果が不調だったためインストール単価上限を削除してしまったことで、開発者は誤ってボットが Google Play Store を迂回し、保存されたファイルからアプリの古いバージョンを直接インストールすることを可能にしてしまいました。これらの不正なインストールは、即座に動画を視聴してサイトを離れることで変換トラッキングをトリガーし、Google のアルゴリズムに偽の変換 engagement に対して請求を行うように仕向けました。これにより、28 の異なる電話モデルで 19 の州にわたって架空のエンゲージメントが fact-billed されました。2 週間で合計 56 のインストールが請求されました:そのうち 33 はボットパターンに一致し、7 つは非ターゲット国からのものであり、本物のユーザーによる有意なエンゲージメントを達成したのはわずか 13 です。ここでの最も重要な教訓は、ネイティブのインストール数単独では成功の信頼性の高い指標にならないという点です。外部ネットワークが人間の行動を模倣して操作可能であり、特にボットはクリックせずに動画を視聴することでインストールをトリガーし、それが変換としてカウントされたためです。この問題を解決するため、開発者はキャンペーンの目標を「アプリを開くこと」から「ゲーム内パズルの勝利」へと厳格化し、正当な変換とみなされる基準を実質的に引き上げました。この事例は広告主に対して明確な警告となっています:検証済みのプラットフォームでも回避可能であり、広告が効果的であると結論付ける前に、古いソフトウェアや疑わしいセッション速度などの異常を検出するために生データの深層分析を必要とする場合があります。現在、開発者は無効トラフィックフォームの提出に関する返信と、潜在的な返金について待機しています。

2026/09/12 3:50

GrapheneOS の書き換えられたメッセージアプリがリリースされました。

## Japanese Translation: この更新は、メッセージアプリにおいて、レガシーなインターフェースを Jetpack Compose と Material 3 デザインに置き換えるという大きな転換点です。バックワートード互換性よりも現代の安定性とセキュリティを最優先しています。最も重要な変更点は、最小 Android SDK を 36 に、ターゲット SDK を 37 に引き上げたことであり、これにより古いデバイスはサポートされず、ユーザーはオペレーティングシステムのアップグレードが必要となります。スヌーzing という新機能(1、8、または 24 時間)や、大型スクリーン向けの適応型二分割レイアウトなどを含むビジュアルのリニューアルに加えて、このリリースはセキュリティを大幅に強化しています。プライベートなファイル URI の共有をブロックし、null 引用による多数のクラッシュ状態を修正したためです。メディア処理も再構築され、ピンチ操作によるズーム表示やスクリーンリーダー用のアクセシビリティラベルの強化が実現しました。また、アプリは会話ごとの通知設定を維持しつつ、専用プライバシーセクションを導入し、システム構成を現代的な互換性のために書き換えました。結局のところ、この移行により、長期的なセキュリティの確保、通知の最適化を通じたバッテリー効率の向上、および最新のモバイル開発標準への対応が実現します。 ## Text to translate: The original summary is strong; to tighten alignment with the Key Points List without adding new information, only minor clarification is needed around the "mandatory" phrasing. However, since this is a reasonable inference and overall quality is high, I will return an improved but nearly identical version that slightly clarifies the upgrade implication while preserving clarity: ## Summary This update marks a major transformation for the messaging app by replacing its old interface with Jetpack Compose and Material 3 design, prioritizing modern stability and security over backward compatibility. The most critical change is raising the minimum Android SDK to 36 and target SDK to 37, which means older devices will no longer be supported and users will need to upgrade their operating systems. Beyond the visual overhaul—including new features like snoozing notifications (1, 8, or 24 hours) and an adaptive two-pane layout for large screens—the release significantly strengthens security by blocking private file URI sharing and fixing numerous crash conditions caused by null references. Media handling has been rebuilt to offer better pinch-to-zoom viewing and enhanced accessibility labels for screen readers. The app also preserves per-conversation notification settings while introducing a dedicated Privacy section and rewriting system configurations for modern compatibility. Ultimately, this shift ensures long-term security, improved battery efficiency through optimized notifications, and alignment with current mobile development standards.