
2026/05/19 12:56
LLMCap - レスポンストークン数に上限($Cap)を設定し、その上限に達した際にお客様の LLM API コールを強制的に停止するプロキシサービスです。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
LLMCap5 は、大規模言語モデル(LLM)の経費を管理している開発者に対して、35ミリ秒未満の最小遅延影響で厳格なドル上限を強制することで、即座かつコスト制御ソリューションを提供します。その最も重要な機能は、予算制限に到達したときに瞬時にお金を支出を停止できる点です;具体的には、ストリーミング中に$50のような上限を超えた場合、トークンを充電する前にトリガーされたトークンに対して HTTP 429 エラーが発生し、即座に支出が停止され、予想外の請求を防ぎます。このシステムは、Day one からストリーミングレスポンスを支持しており、主要なすべてのプロバイダーとシームレスに動作します(現在、Starter プランですべての 5 つがサポートされています)。統合には、1 ラインのコード変更だけで完了し、プロキシベースURL(例:
https://proxy.llmcap.io/anthropic)を使用することで、環境全体で互換性を保ちつつ、機密のあるプロバイダー API キーを公開しません。これらのキーはヘッダーを通じて渡され、即座に破棄されますが、プロキシキー自体は bcrypt ハッシングを使用して安全に保存されます。セットアップは迅速で、約 5 分以内で完了し、macOS、Linux、Windows を含め、どこでもコードを書くことができる場所に利用可能です。ユーザーは VS Code、Terminal CLI(pip install llmcap)、または Windows Tray App(pip install "llmcap[tray]")内で、ライブ支出、使用量、燃費率、ブロックされたリクエストの数(LLMCap は最近 18k 以上のリクエストをブロックしました)、詳細な監査ログを直接監視できます。セルフホストリングは FastAPI と Redis を使用して将来のオープンソースリリースのために計画されていますが、世界で速度のために proxy.llmcap.io の管理サービスが推奨されます。開発者は、3 日間の無料トライアル(料金の請求なし)を安全に実行してから、Starter プラン($19/月)にアップグレードできます。このプランには、複数のプロバイダーに対するコスト全体への完全な制御とメールサポートが含まれます。
Text to translate:
LLMCap5 provides an immediate, cost-control solution for developers managing Large Language Model (LLM) expenses by enforcing hard dollar caps with minimal latency impact of less than 35 milliseconds. Its most critical feature is the ability to instantly halt costs upon hitting a budget limit; specifically, if a cap like $50 is exceeded mid-stream, spending stops immediately with an HTTP 429 error before triggering tokens are charged, effectively preventing surprise bills. The system supports streaming responses from day one and works seamlessly with every major provider (currently all 5 supported on the Starter plan). Integration requires only a single line of code change via a proxy base URL (e.g.,
https://proxy.llmcap.io/anthropic), ensuring compatibility across environments without exposing sensitive provider API keys. These keys are passed through a header and immediately discarded, while the proxy key itself is stored securely using bcrypt hashing. Setup is quick, achievable in about 5 minutes, and available everywhere you code, including macOS, Linux, and Windows. Users can monitor live spend, usage, burn rate, blocked request counts (LLMCap recently blocked over 18k requests), and detailed audit logs directly within VS Code, Terminal CLI (pip install llmcap), or a Windows Tray App (pip install "llmcap[tray]"). While self-hosting using FastAPI and Redis is planned for the future open-source release, the managed service at proxy.llmcap.io remains recommended worldwide for speed. Developers can safely experiment with a 3-day free trial (no charge) before upgrading to the Starter plan ($19/mo), which includes full control over costs across multiple providers and email support.本文
LLMCap:5 つの主要プロバイダー対応|追加レイテンシー<35ms|堅牢な強制制限
すべての大規模言語モデル(LLM)呼び出しに対して硬貨ベースの上限額を設け、$50 に達すれば即座に遮断されます。アラートではなく、実際の停止です。コードの変更はたった 1 つ行だけです。「想定しない高額請求」は決して発生しません。
client = Anthropic(api_key="sk-ant-...")
設定までの時間はわずか 5 分
- 基本設定
client = Anthropic( api_key="sk-ant-...", base_url="https://proxy.llmcap.io/anthropic" ) - すべての主要プロバイダーに対応可能です
- 開発 wherever 어디서でも利用可能
LLMCap の仕組みについて
VS Code 拡張機能
ステータスバーにリアルタイムの支出情報を表示。クリックするだけで、その日の使用量、燃焼率(平均消費)、およびブロックされた回数をエディタを離さずに確認できます。
- インストール:
pip install llmcap
コマンドラインインターフェース(CLI)
コマンドラインから支出状況の確認、ログの閲覧、キーの管理が可能です。macOS、Linux、Windows の全環境に対応しています。
- コマンド:
pip install "llmcap[tray]"
Windows トレーアプリ
システムトレイに表示されるアイコンで、リアルタイムの使用状況を確認できます。右クリックすると統計情報やクイック操作にアクセス可能です。常に表示されておりながら、邪魔になりません。
- インストール:
pip install "llmcap[tray]"
ステータスバーのリアルタイム支出確認
エディタを離さずに、その日の使用量、燃焼率、ブロック回数をクリックすると表示できます。
コマンドラインインターフェース(CLI)
コマンドラインから支出状況の確認、ログの閲覧、キーの管理が可能です。macOS、Linux、Windows の全環境に対応しています。
PyPI で確認する
Windows トレーアプリ
システムトレイに表示されるアイコンで、リアルタイムの使用状況を確認できます。右クリックすると統計情報やクイック操作にアクセス可能です。常に表示されておりながら、邪魔になりません。
シンプルな料金体系
プランをお選びください
3 日間の無料トライアル期間あり・終了時点で初めて請求開始・いつでもキャンセル可能
Starter プラン — トライアル終了後 $19/月
- ✓ 2 つの API キー
- ✓ 5 つすべての主要プロバイダー対応
- ✓ 日次および月次の上限設定
- ✓ 30 日間保留された監査ログ
- ✓ 1 ユーザー利用可能
- ✓ メールサポート
[3 日間の無料トライアルを開始する]
※トライアル期間中はクレジットカードのご登録が必要です。3 日目までにご解約いただければ、請求は発生しません。
よくあるご質問(FAQ)
LLMCap は私の API キーを見るか保存しますか?
いいえ。ご使用のプロバイダーの API キー(例:
sk-ant-...)は、各リクエストでプロキシヘッダー経由で転送され、即座に破棄されます。LLMCap では LLDCap の自社のプロキシキーのみを bcrypt 暗号化して保存しており、プロバイダーの API キーは一切ログに残しません。
ストリーミング応答と相性はどうですか?
はい、リリース当初からストリーミング完全対応です。LLMCap は SSE(サーバーイベントソース)チャンクをリアルタイムで転送します。ストリーミング途中に予算を超えた場合、接続を即座に遮断し、429 エラーイベントを送信します。その時点で上限に達したトークンは課金されません。
上限に達した場合、実際には何が起きるのでしょうか?
次のインカミングリクエストは、プロバイダーに到達する前に HTTP ステータスコード 429 で拒否されます。トークンは消費されないため、課金されることもありません。アプリからは、プロバイダーがレート制限を行う際にも使用される標準的な 429 レスポンス形式を受信するため、既存のエラーハンドリングロジックをそのまま利用可能です。
LLMCap を自分でホストできますか?
セルフホストは今後のロードマップに載せています。このプロキシ自体はオープンソース(FastAPI + Redis)で公開されています。現時点では、管理サービス
proxy.llmcap.io のご利用が推奨されており、世界全体でレイテンシー<35ms で既に展開済みです。