
2026/08/04 1:17
Show HN:MCP のエージェントセッション向けの製品分析(および評価)ツール
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Armature は、Claude や ChatGPT などの AI クライアント内部で発生するユーザーセッションを観測することを目的に設計された革新的な分析プラットフォームです。従来のツールがウェブインターフェースのみを追跡することに留まる中で生じている重要なギャップを埋めます。PostHog や Mixpanel のような標準的な指標とは異なり、Armature は AI 環境に対するユーザーの操作手法を変更することなく、エージェントの推論の全体像、タスク成功率(92score などのスコアリングシステムによる)、および具体的なアプリケーションの失敗をキャプチャします。論理的な問題(ループや行き詰まりなど)を自動的に検出し、バッチリファンドエラーや検索ミスのような重大なfailureポイントを特定して、エージェントの信頼性を大幅に向上させます。実装は、多様なエージェント(Cursor、Codex、Gemini CLI などを含む)と統合可能な非侵襲的な SDK ラッパーを通じてシームレスに行えますが、機密的个人情報の自動マスキングによりデータ安全性を保証します。月額 1,000 セッションまで無料プランを提供し、高トラフィック向けにカスタムプランも用意している Armature は、生セッションリプレイを行動可能な洞察へと変換することで、チームが MCP サーバーの最適化を実現し、より堅牢な AI アプリケーションを開発するよう支援します。
本文
Armature: エージェントセッション向け製品分析機能
Armature は、Claude Connector、ChatGPT アプリ、または MCP サーバー上で動作するユーザーセッションをキャプチャし、可視化する製品分析ツールです。UI 内部ではなく AI クライアント内で発生するセッションでも、ユーザーの意図、エージェントの思考プロセス、製品利用状況を完全な追跡情報として把握できます。
主な機能:API 統合と管理
製品機能をコードを通じて呼び出せる API が用意されています。
list_customerscreate_subscriptionsend_invoice_402send_invoicesearch_customersget_planslist_invoicesupdate_planusage_report
ユーザー意図とエージェント思考の可視化
使用例:ACME 社の有料プラン設定と請求書発行
-
ユーザーの意図(14:16)
ACME 社向けの有料プランを設定し、請求書を発行する。 -
✦ エージェントの思考プロセス(14:16)
請求書には連絡先が必要なので、オーナーのメールアドレスで再試行します。 -
✓ エージェントによるユーザータスクの成功完了
スコア:92
メリット
Armature を利用することで以下の恩恵が得られます:
- セッションの復元
- ユーザー意図のキャプチャ
- エージェント思考プロセスの可視化
- セッション評価
主要な使用ケースの分析
Armature の AI モデルは全セッションを読み込み、ユーザーが目指した目的を特定します。セッションは使用ケースごとにグループ化され、ボリュームや成功率に基づいてランキング付けられます。現状サポートされていない課題も含めて分析可能です。
- 請求書の作成と送信: 38%
- バッチ還元の未対応: 14%
課題の検出と改善
頻発する課題を特定し、迅速な改善に対応します。AI モデルは全セッションをスキャンしてエラー、ループ、行き詰まりを検出し、根本原因ごとにグループ化・ランキング付けを行います(API 応答が「200 OK」でも不具合が存在する場合があります)。
| 課題 | 発生件数 | 備考 |
|---|---|---|
| 認証スコープの欠落によるエージェントループ | 127 ↑(前週比 +43) | 修正 → |
| 「還元」などの検索表現が見逃される | 64 | |
| ページネーションによるエクスポートの途中切り捨て | 31 | |
| バッチ更新時のレート制限超過 | 12 |
セッション再生(リプレイ)機能
任意のセッションを再生し、詳細な調査が可能です。セッションは「ユーザーが求めていた結果を得られたか」でスコアリングされています。
- 完全な追跡情報の確認可能
- ユーザーのリクエスト内容
- エージェントの思考プロセス
- 各 API 呼び出しの詳細
- 問題箇所の特定
プロビデが発生した際、まさにどこで何が破綻したかが一目瞭然です。
設定までの手順(数分で完了)
-
キーの作成
- サインアップを行い、API キーを生成します。
- デプロイシークレットに貼り付けてください。
-
コーディングエージェントへの指示
- プロンプトを貼り付けます。
- エージェントが SDK の統合を行います。
-
デプロイ
- 直ちにリリースし、数分でセッションの流入を確認できます。
ユーザーデータの安全確保
セッションには個人情報や機密情報が含まれる可能性があります。そのため、以下の対策を標準搭載しています。
- 自動マスキング: 保存に到達する前に、検知モデルにより PII(個人を特定できる情報) および機密情報を自動的にマスクします。
料金プランと開始方法
プラン比較表
| プラン | 料金 | 機能概要 | アクション |
|---|---|---|---|
| 無料 | $0 | - 1,000 セッション/月まで無料 - プロジェクト・ユーザー数無制限 - データ保持:7 日間 - ダッシュボード・セッションリプレイ対応 - 使用ケースグループ化・課題検出(ベータ) | 無料で始める クレジットカード不要 |
| カスタム | ご相談 | - 無料プラン全機能 - プライオリティサポート・SLA - SSO/SAML 認証 - オーディットログ - カスタムデータ保持期間 - 専用オンボーディング | お問い合わせ |
開始方法
または、特別なニーズに合わせてカスタムプランをご相談ください。
よくある質問 (FAQ)
01. Armature はどのようにセッションをキャプチャしますか?
MCP サーバー、Claude Connector、または ChatGPT アプリのバックエンドにSDK を追加するだけです。コードは数行で済み、一度デプロイすれば完了です。その後は Armature が自動的にすべてのセッションを再構築し、分類・スコアリングを行います。
02. MCP サーバーを変更する必要がありますか?
いいえ。既存のまま運用し続けてください。SDK はサーブレイヤーとして動作し、ユーザー体験に影響を与えることなくセッションをキャプチャします。
03. 対応しているエージェントとクライアントは?
ユーザーが利用するあらゆるクライアントに対応しています:
- Claude
- ChatGPT
- Cursor
- Codex
- Gemini CLI など MCP サーバーにアクセスできれば、Armature はそのセッションをキャプチャ可能です。
04. PostHog や Amplitude、Mixpanel との違いは?
これらはユーザーの UI 上のクリックを追跡しますが、エージェントにタスクを委譲した場合、セッションは AI クライアント内部で発生するため従来のツールでは把握できません。Armature はまさにそのようなセッションをキャプチャします。
05. LangSmith や Langfuse との違いは?
これらは自社で構築するエージェントを観察しエンジニア向けのサービスを提供しますが、Armature は製品チームに対し、「ユーザーが実際にあなたの製品とどのように対話しているか」を示します。
06. ユーザーデータの安全性は保証されていますか?
はい。検知モデルがすべてのセッションをスキャンし、PII および機密情報をデフォルトでマスキングします。データ保持期間はお客様が制御でき、いつでもデータを削除可能です。詳細なセキュリティ情報についてもご要望に応じてお伝えできます。
07. 料金はどうなっていますか?
- 月間 1,000 セッションまでは無料です(プロジェクト数・ユーザー数無制限)。
- それを超えた場合は、1,000 セッションあたり$50 で利用可能です。
- 大規模トラフィックを持つチーム向けにカスタムプランもあります。
まとめ:エージェント体験の改善を始めてください
あらゆる AI エージェントを通じて、ユーザーが製品と行うセッションをキャプチャしましょう。彼らが何を求めているかを見届け、エージェントによる対応を確認し、遭遇している課題を解決してください。