2026/08/12 23:02
ClaudeBot と類似の AI ボットを用いた大規模な脆弱性情報収集攻撃が実行されているようです。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Agent Analytics および AI チャット紹介追跡データを元に、5,000 以上のウェブサイトについて実施された最近の分析は、重要な転換点を示している：全体としてのボット訪問および人間訪問の合計が 2%減少した一方で、「エージェント化」は加速し、AI 関連のボットトラフィックが 11%増加した。このトレンドの特徴は、特定のタスクを支配する専門的な AI エージェントにある；例えば、ChatGPT-UserASST はすべてのフェッチ操作の 86.4%を占め、ClaudeBotSCRP はスクレイピング活動で 27.0%をリードしている。ブラウジングエージェントに関しては、Google-AgentAGNT と Manus-UserAGNT が合わせてトラフィックの 83%以上を構成する。最も顕著な検索インデックス化活動は PetalBotSRCH (25.4%) および Amzn-SearchBotSRCH (17.3%) から来ている。これらの進歩にもかかわらず、セキュリティリスクは依然として高い：多くのボットは厳密に
robots.txt.json本文
5,000 サイト以上のエコシステム分析レポート：エージェントと AI チャット誘発動向
概要: エージェント分析および AI チャット誘発トラッキング機能を搭載し、5,000 箇所以上のサイトを対象に、エコシステムの主要指標を提供します。
📊 主要指標の動向（前 90 日比）
- ボット対人間トラフィック: -2%
- ボット由来のアクセス数と人間由来のアクセス数の内訳を示しています。
- 「エージェント化」の度合い: +11%
- ボットトラフィックのうち、AI に関連するものの割合が上昇しています。
- AI チャット誘発ボリューム: -9%
- ヒューマンウェブサイト訪問のうち、AI チャット経由で発生する割合です。
- [参照トレンドはこちらから確認できます ↓]
🤖 エージェントタイプ別トラフィック概要
各エージェントタイプの詳細な機能定義です。ホバーすることでさらに詳細を確認可能です。
| カテゴリ | エージェントタイプ | 説明 |
|---|---|---|
| 情報取得・検索 | AI エージェント、AI アシスタント、AI コーディングエージェント、AI データプロバイダー、AI データスクレイパー、AI 検索クロールャー、アーカイバー、開発者ヘルパー、フェッチャー、インテリジェンス集約者、ドキュメントされていない AI エージェント | 自律的なタスク実行、回答生成支援、ソフトウェア構築支援、コンテンツ供給・ダウンロード、インデックス化、保存、テスト支援、メタデータ取得など多岐にわたります。 |
| 抽出・分析 | スクレイパー、検索エンジンクロールャー、セキュリティスキャナー、SEO クロールャー、未分類 | データの大量抽出（無許可含む）、インデックス化、脆弱性診断、構造分析などです。 |
🏆 トータル・トップ エージェントタイプ（全般）
最もアクティブなエージェントは以下の通りです：
- bingbotSRCH（検索エンジンクロールャー）: インデックス化のため体系的にスキャンします (8.2%)
- GooglebotSRCH（検索エンジンクロールャー）: 同様にインデックス化を行います (7.9%)
- AhrefsBotSEO（SEO クロールャー）: 構造分析と SEO 機会の特定 (6.2%)
- Known AgentDEV（開発者ヘルパー）: テスト・デバッグ支援 (5.5%)
- ChatGPT-UserASST（AI アシスタント）: ユーザープロンプトに応じたコンテンツ取得 (3.3%)
- ClaudeBotSCRP（AI データスクレイパー）: LLM 訓練用のデータダウンロード (3.2%)
- PetalBotSRCH（AI 検索クロールャー）: AI 検索結果のインデックス化 (3.2%)
- SemrushBotSEO（SEO クロールャー）: SEO 分析支援 (3.0%)
- facebookexternalhitFTCH（フェッチャー）: アプリ機能動作のためのメタデータ取得 (2.6%)
- meta-externalagentSCRP（AI データスクレイパー）: LLM 訓練用データ収集 (2.3%)
その他主要エージェント:
- AmazonbotSCRP (2.3%)、MJ12botSEO (2.2%)、Amzn-SearchBotSRCH (2.2%)
- DotBotSEO (2.1%)、ApplebotSRCH (2.1%)
📥 AI スクレイピング アクティビティ
AI モデルのトレーニング目的でウェブサイトコンテンツを収集するボットの動向です。自動
を設定することで不要なスクレイピングをブロックできます。対象は「AI データプロバイダー」と「AI データスクレイパー」です。robots.txt
📂 スクレイピングトップ カテゴリ
- コンピューター・電子機器: 5.3%
- ビジネス・産業: 5.0%
- インターネット・通信: 4.5%
🏆 トップエージェント（スクレイピング）
| ランク | エージェント名 | タイプ | 動作内容 | パーセンテージ |
|---|---|---|---|---|
| 1 | ClaudeBotSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 27.0% |
| 2 | meta-externalagentSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 19.5% |
| 3 | AmazonbotSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 19.2% |
| 4 | GPTBotSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 9.4% |
| 5 | BytespiderSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 7.3% |
| 6 | ShapBotPVDR | AI データプロバイダー | コンテンツ供給検索 | 5.6% |
| 7 | GoogleOtherSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 3.9% |
| 8 | CCBotSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 2.3% |
| 9 | TimpibotSCRP | AI データスクレイパー | LLM 訓練用データダウンロード | 1.8% |
| 10 | YouBotPVDR | AI データプロバイダー | コンテンツ供給検索 | 1.4% |
🤖 AI フェッチングアクティビティ
リアルタイムでコンテンツを取得し、AI アシスタントやコーディングエージェント（RAG）を動作させるボットです。回答生成時の情報源として使用されます。対象：「AI アシスタント」と「AI コーディングエージェント」。
📂 フェッチングトップ カテゴリ
- コンピューター・電子機器: 2.3%
- 旅行・輸送: 1.9%
- ビジネス・産業: 1.8%
- インターネット・通信: 1.7%
🏆 トップエージェント（フェッチング）
| ランク | エージェント名 | タイプ | 動作内容 | パーセンテージ |
|---|---|---|---|---|
| 1 | ChatGPT-UserASST | AI アシスタント | プロンプト応答による取得 | 86.4% |
| 2 | DuckAssistBotASST | AI アシスタント | プロンプト応答による取得 | 3.3% |
| 3 | Perplexity-UserASST | AI アシスタント | プロンプト応答による取得 | 2.7% |
| 4 | Claude-UserASST | AI アシスタント | プロンプト応答による取得 | 2.5% |
| 5 | MistralAI-UserASST | AI アシスタント | プロンプト応答による取得 | 2.1% |
| 6 | Claude-CodeCODE | AI コーディングエージェント | 構築支援リソース取得 | 1.1% |
| 7 | Shap-UserASST | AI アシスタント | プロンプト応答による取得 | 1.0% |
| 8 | Google-NotebookLMASST | AI アシスタント | プロンプト応答による取得 | 0.4% |
| 9 | CursorCODE | AI コーディングエージェント | 構築支援リソース取得 | 0.4% |
🔍 AI 検索インデックス化アクティビティ
AI 検索エンジンや回答表示のためにコンテンツを検索し、出典リンクを付与するボットです。対象：「AI 検索クロールャー」。
📂 インデックス化トップ カテゴリ
- 旅行・輸送: 6.8%
- 書籍・文学: 4.9%
- コンピューター・電子機器: 4.6%
- 芸術・エンタテインメント: 4.5%
🏆 トップエージェント（インデックス化）
| ランク | エージェント名 | タイプ | 動作内容 | パーセンテージ |
|---|---|---|---|---|
| 1 | PetalBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 25.4% |
| 2 | Amzn-SearchBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 17.3% |
| 3 | ApplebotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 16.7% |
| 4 | OAI-SearchBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 11.9% |
| 5 | meta-webindexerSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 10.8% |
| 6 | Claude-SearchBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 10.4% |
| 7 | PerplexityBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 3.4% |
| 8 | LinkupBotSRCH | AI 検索クロールャー | 引用文字列含めためのインデックス化 | 3.4% |
🌐 AI ブラウジングアクティビティ
ブラウザを使用して自律的にサイトを行き来し、クリック操作やタスク完了を行うボットです。エージェント UX ベストプラクティスや Google PageSpeed Insights で対応状況を確認できます。対象：「AI エージェント」。
⚠️ 主要指標（前 90 日比）
- 平均セッション期間: -5%
- 平均セッションあたりのページ数: -1%
📂 ブラウジングトップ カテゴリ
※現在リストされているすべてのカテゴリは 0.0% を示しています。
🏆 トップエージェント（ブラウジング）
| ランク | エージェント名 | タイプ | 動作内容 | パーセンテージ |
|---|---|---|---|---|
| 1 | Google-AgentAGNT | AI エージェント | ブラウザ使用による自律的タスク実行 | 43.0% |
| 2 | Manus-UserAGNT | AI エージェント | ブラウザ使用による自律的タスク実行 | 40.1% |
| 3 | ChatGPT AgentAGNT | AI エージェント | ブラウザ使用による自律的タスク実行 | 16.9% |
🛡️ robots.txt とコンプライアンス
エージェントの
robots.txt📉 効果性（全体）
すべてのエージェントタイプにおけるルールの遵守頻度です。
✅ トップルール遵守エージェント（100.0%）
- LinkupBotSRCH, serpstatbotSEO, proximicINT, ClarityBotSEO, IAS crawler, BarkrowlerSEO, um-ICINT, SEOkicksSEO, DragonflyINT, AffsignalCrawler, AdsBot-Google-MobileINT, meta-externaladsINT, UptimeRobotDEV, LeikibotINT, TTD-Content 他。
❌ トップルール違反エージェント（遵守率）
- BaiduspiderSRCH: 82.6%
- SirdataBotUNC: 84.5%
- ShapBotPVDR: 90.4%
- YandexBotSRCH: 91.2%
- Sogou web spiderSRCH: 92.7%
- Mediapartners-GoogleINT: 93.2%
- ScrapySCRP: 93.8%
- AmazonbotSCRP: 94.7%
- HeadlessChromeAUTO: 95.4%
- linkfluenceINT: 95.9%
- DotBotSEO: 96.1%
- OAI-SearchBotSRCH: 96.3%
- ChatGPT-UserASST: 96.8%
- archive.org_botARCH: 96.9%
🔒 トップブロックされたエージェント（トラフィック減少）
- GPTBotSCRP: 24.6%
- CCBotSCRP: 22.6%
- ClaudeBotSCRP: 21.7%
- BytespiderSCRP: 18.9%
- PerplexityBotSRCH: 17.9%
- ChatGPT-UserASST: 16.1%
🚨 スポオフレインとセキュリティ
偽装（Spoofing）アクティビティの動向です。IP 認証や Web Bot Auth を満たさず、AI ボットを偽装しているケースが増加しています。
⚠️ アクティブな脅威：AI ボット偽装キャンペーン
- 状況: ウェブサイトを脆弱性スキャンするために AI ボットを偽装する大規模キャンペーンが確認されています。
- 標的: AI コーディングツールで使用される認証情報経路や構成経路です。
- 対策: 詳細については関係者へご連絡ください。
🔝 トップスパフされたエージェントアイデンティティ
- GooglebotSRCH: 0.5%
- ChatGPT-UserASST: 0.1%
- GPTBotSCRP: 0.1%
- OAI-SearchBotSRCH: 0.1%
💻 最近のトップターゲット経路（スパフ例）
攻撃対象となっている設定ファイルや認証情報のパスです：
.config/anthropic/credentials/default.json .claude/settings.json .claude.json .hermes/.env .openclaw/.env .codex/config.toml .continue/config.json .aider.conf.yml /service-account.json /serviceaccountkey.json /service_account.json /firebase-adminsdk.json /firebase-service-account.json .aws/credentials .aws/config .s3cfg .boto .npmrc .env.example, .env.local, .env.production, .env.backup, .env.old /backend/.env /api/.env /admin/.env .dockerfile .docker-compose.yaml .docker/config.json .terraform.tfstate .credentials.json .secrets.json, secrets.yml .key.json .rclone.conf
💬 AI チャット誘発
ChatGPT、Perplexity、Gemini などがウェブサイトを引用し、人間からのトラフィックを誘発している状況です。引用数は推計値です。Google のガイドライン（GEO）に従い、AI 回答で目立つように最適化することをお勧めします。
📊 トップメンション（引用）されたカテゴリ
- コンピューター・電子機器: 2.3%
- 旅行・輸送: 1.9%
- ビジネス・産業: 1.8%
- インターネット・通信: 1.6%
🖱️ トップクリック（誘発）されたカテゴリ
- 旅行・輸送: 0.3%
- コンピューター・電子機器: 0.1%
- ビジネス・産業: 0.1%
🔬 メソドロジーとデータ品質
📅 データ範囲
- 対象: エージェント分析・AI チャット誘発トラッキング機能利用の 5,000 サイト以上。
- 更新頻度: 完了した日のデータを毎日更新（部分的な日は除外）。
- 比較基準: パーセンテージ変化は、同一期間の前の期間と比較。
- 注釈: 結果は観察されたネットワークと方向性トレンドを表し、グローバルウェブトラフィックの正確な国勢調査として解釈すべきではありません。
📏 資格と集計方法
- 対象選定: 最小限のアクティビティとデータ品質要件を満たすサイトのみを含みます（内部/テスト/異常データは除外）。
- 計算ロジック:
- ボットトラフィックパーセンテージ = 合計サーバートラフィックを分母。
- AI チャット誘発パーセンテージ = 特定ボット訪問を除外した推計ヒューマントラフィックを使用。
- 各サイトに等しい重みを与えるため、少数の高トラフィックサイトの支配を防ぎます。
- 可視化: 日別チャートは平滑化されておらず、通常の季節性が保たれています。
🧪 robots.txt の効果性測定
- 原理:
ルールによるリクエスト削減を推定します。disallow - 手法: エージェント固有のベースラインを設定し、ブロック時のトラフィックと比較。
- スコア範囲: 0%（削減なし）〜100%（リクエスト観察なし）。
- 注意点: これは制御された実験ではなく観察ベースの評価であり、すべての変化が
に起因するとは限りません。robots.txt
🔍 スポオフレインされたボットの特定
- 定義: 既知のアイデンティティを主張するが、IP 認証や HTTP メッセージ署名などの証明を満たさない訪問。
- 計算: 日次レートを計算し、サイト間で平均化。チェック失敗は偽装の可能性を示唆しますが、実際に送信したソフトウェア自体の特定にはなりません。
📌 AI チャット引用と誘発の定義
- 誘発: 参照 URL に AI プラットフォームが認識された場合のみカウント（利用可能情報なしは除外）。
- 引用: エージェントからのリクエストに基づく推計値ですが、ユーザー画面での表示を保証するものではありません。正確な数値ではなく方向性パターンとして解釈してください。
❓ 頻繁に見られる質問（FAQ）
Q. ジャーナリストやメディア組織はこのデータを利用できますか？
もちろんです。出典とこのページへのリンクを付けて「エージェント・ウェブ・インデックス」を引用できます。詳細な分解やインタビューが必要な場合は、締切なども合わせてご連絡ください。
Q. 研究者と連携していますか？
もちろんです。エージェントやボットがウェブを変えつつある過程についての研究をお待ちしています。スコープやデータ制約についてご相談いただければ、追加文脈の提供や共同分析を検討可能です。
Q. 特定の分析を依頼できますか？
はい。ここに表示されていないエージェント、運営元、アクティビタイプ、カテゴリ、または期間ごとの分解が必要であればご連絡ください。基礎データがサポートする範囲での検証が可能です。
Q. どうすれば自社のウェブサイトでのトレンドを確認できますか？
「エージェントアナリティクス」で訪問元やアクセス内容の変化を確認し、「AI チャット誘発トラッキング」で AI からの人間トラフィックを測定、さらに「自動 robots.txt」でコンテンツへのアクセス制御を管理してください。