2026 年における現代の AI エージェントとの対比によるボット検出システムのベンチマーク評価

2026/10/21 2:10

2026 年における現代の AI エージェントとの対比によるボット検出システムのベンチマーク評価

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

提供された要約はキーポイントリストとよく整合しており、全ての主要ポイントを明確に反映しつつ、明瞭性と簡潔性を維持した若干改良したバージョンを以下に示します:

伝統的な Web セキュリティ対策は、最近の 5 つの主要ボット検出システムに関する以前の評価を踏襲した研究によって示されたように、現代の AI 駆動型エージェントに対してもますます不十分になっています。レガシー手法は単純な自動化スクリプトを検出できる一方で、人間のような行動を模倣する高度な AI ブラウジングエージェントに対しては著しく苦戦します。更新されたベンチマークでは、Cloudflare Turnstile、Google reCAPTCHA v3、hCaptcha、Proof of Human、および Cloudflare Bot Management のようなツールに対し、従来のブラウザ自動化(Chromium)、ステルスブラウザ(CloakBrowser)、および Browser Use(Claude Opus)、Perplexity Comet、Grok といった AI 駆動型エージェントを含む多様な対戦相手に対するテストを実施しました。結果は明白な対比を示しました:Proof of Human は 99% の精度を達成し、reCAPTCHA v3 で検出率は 69.4%、hCaptcha で 44.3%、Cloudflare Turnstile で 42.1%、Cloudflare Bot Management ではわずか 9.1% です。スクリプト化されたブラウザと AI エージェントの間には明確な分断が生じました:hCaptcha と Cloudflare Turnstile はほぼ全てのスクリプト化セッションを捉えたものの、多くの AI エージェントに対しては失敗し、reCAPTCHA v3 は大部分のエージェントセッションを特定しましたが CloakBrowser を見逃しました。画像グリッド課題を発行する hCaptcha や Turnstile に対して、Browser Use、Grok、Perplexity Comet のような視覚機能を持つエージェントは一般的に回避していました。特に注目は、Cloudflare Turnstile がテストされた 3 つの AI エージェントのいずれも検出できず、かつそれらのセッション中に課題を発行しなかったという点です。本研究は、従来の行動シグナル単独ではもはや AI 駆動型自動化脅威に対する信頼性の高い防御手段とならないことを示唆しており、対話型課題と堅牢なセッションレベルの行動分析の必要性を強調しています。制約事項には、サンプルサイズに影響を与えるシステムクラッシュ、製品ティアベースの評価(エンタープライズ版ではない)、人間ユーザーに対する偽陽性測定値の欠如、および時間経過に伴う検出システムの感度調整変化の可能性などが含まれます。今後の研究は、より大規模なトラフィック量、リアルな人間の参加者を含めて偽陽性を評価する、より複雑なタスクシナリオ、そして脅威環境の変化に応じて検出システムを継続的に監視することなどに焦点を当てるべきです。

本文

ボット検出システムベンチマークレポート:AI エージェント時代への移行と課題

1. 概要

背景と目的

  • 前回の評価 (1 年前)
    • 対象:Proof of Human、Google reCAPTCHA v3、hCaptcha、Fingerprint Pro、Cloudflare Turnstile の 5 つの主要システム。
    • 結果:検出率には 33% から 87% と大きなばらつきがあった。
    • 結論:デバイス情報単独よりも、行動シグナルを組み合わせたシステムの方が圧倒的に優れていた。
  • 今回の評価の動機
    • ブラウザ自動化技術と AI エージェントが大幅に進化し、ウェブページを解釈・計画・相互作用する能力を獲得したため。
    • 従来のスクリプト型ブラウザに加え、AI 駆動型のブラウジングエージェントを新たな対抗勢力として追加評価。

結論の概要

  • 依然として検出性能に大きなばらつきが存在するが、脅威モデルの変化により評価基準がシフトしている。
  • 人間と高度化する AI エージェントを見分ける際、行動パターンの分析が極めて重要になっている。

2. 方法論 (Methodology)

評価タスク

  • アンケート調査の実施
    • 5 つの質問(択一式問題および自由記述式問題)を回答させる。
  • セッション構成
    • 各対抗勢力:最大 20 回 の試行。
    • 総セッション数:最大 100 セッション。
    • 注記: 一部の検出システムで早期失敗・クラッシュがあったため、有効評価セッション数は 89〜100 の範囲である。

使用されるボット検出システム

システム特徴とシグナル
Proof of Human機械学習モデルを用いた分類。
行動(タイピング、マウス移動等)およびデバイスの両方を基盤に。
Google reCAPTCHA v30〜1 のスコア付け。
ブラウザの完全性と Google 側の評判シグナルを考慮。可視的チャレンジなし。
hCaptcha「私が人間です」チェックボックス。
リスクプロファイル評価に基づき、画像検証または即時通過を選択。
Cloudflare Turnstile背景でのブラウザ完全性チェック。
通常はパズル不要だが、シグナル不明確な場合はインタラクション要求。
Cloudflare Bot Managementネットワーク全体データの学習。
スコア化(1〜99)またはカテゴリ判定(
likely_human
〜
verified_bot
)。

対抗勢力(Automated Agents)

名称分類と説明
Chromiumスタンダードな Chromium。
ステルス修飾なし。
navigator.webdriver
など明らかなボット指標を持つ。
CloakBrowser高度なフォーク。
GPU/Canvas/WebGLなどソースレベルでフィンガープリントを偽装。住宅用プロキシ経由で実行。
Browser Useオープンソース AI エージェント。
LLM (Claude Opus) で視覚情報を活用し、自律的にタスク完了。
Perplexity CometPerplexity 提供の AI ブラウザ。
LLM と視覚情報でナビゲーションとタスク実行。
GrokxAI 系 AI エージェント。
LLM と視覚情報を活用した自律エージェント。

3. 結果 (Results)

全体としての検出性能

  • システム間でのばらつきは依然として大きい。
  • 自動化セッションの特定率(トップから順に)
    1. Proof of Human: 99%(圧倒的優勢)
    2. Google reCAPTCHA v3: 69.4%
    3. hCaptcha: 44.3%
    4. Cloudflare Turnstile: 42.1%
    5. Cloudflare Bot Management: 9.1%

対抗勢力ごとの検出傾向

  • 明確な分離: スクリプト化されたブラウザ vs. AI エージェント。
  • hCaptcha & Cloudflare Turnstile
    • スクリプト系(Chromium, CloakBrowser)を多く検出。
    • AI エージェントはほとんど検出せず。
    • 画像検証タスク: AI は解釈・解決可能だが、システム側でそれを信頼して通過させている場合が多い。
  • Google reCAPTCHA v3
    • 逆のパターン。CloakBrowser は検出しなかったが、AI エージェントを最も多く検出した。
  • Cloudflare Bot Management
    • どの勢力もあまり検出しない(ステルスブラウザとクラウドエージェントのクリーンなシグナルによる)。
  • Proof of Human
    • 全体で少なくとも 95% のセッションを検出。

失敗要因分析(ブラックボックスシステム)

システム主要な検出パターン主な弱点・失敗要因
reCAPTCHA v3Chromium、クラウドホスト型エージェントを検出。
CloakBrowser は検出しにくい。
CloakBrowser のブラウザフィンガープリント改変と住宅用 IPの組み合わせが有効だった可能性。
hCaptcha画像ベースのタスクチャレンジを提示しても、スクリプト系は信頼せず失敗。
AI エージェント(3 社中)は画像解釈に成功して通過。
AI のビジョン機能により画像パズルを解決できるため、インタラクティブな検証に限界がある。
Cloudflare Turnstileスクリプト系を検出。検証トークン発行を遅らせる。
AI エージェントは検出せず。
行動シグナルの不足により、AI の自律的な操作も「人間」と判定されやすい。
Cloudflare Bot Managementセッション検出数が少ない。
Grok は例外として高い検出率を示す。
インフラレベル(IP、TLS)のシグナルで特定できる場合があるが、一般のエージェントからは隠蔽できている。

4. 制限事項 (Limitations)

以下の点に注意して結果を解釈してください:

  • サンプルサイズの偏り: クラッシュや早期失敗により、各条件のセッション数が異なり、わずかな結果の違いが生じている可能性があります。
  • 製品版の限界: 評価は利用可能な製品版であり、追加機能(企業向けなど)を搭載していないためです。
  • 偽陽性の非測定: ボット検出率は計測済みですが、人間回答者に対する誤検知率(False Positive) は評価していません。
  • 長期的な学習効果: reCAPTCHA などは長期稼働でウェブサイトのパフォーマンスデータを学習し、校正が向上するため、短期ベンチマークと実際の運用で検出率が異なる可能性があります。

5. 結論 (Conclusion)

新たな段階への移行

  • 従来の自動化シグナルはスクリプト系には有効ですが、本物のブラウザ環境を賢く活用する AI エージェントに対しては信頼性が低いです。
  • インタラクティブなチャレンジ(画像パズル等) は、AI の視覚機能により保護効果が限定的であることが判明しました。

今後の重要課題

  • 行動シグナルの重要性増大: ブラウザレベルの指標を回避しやすくなるにつれ、セッション全体を通じたユーザーの行動が人間と自動化を見分けるための鍵となります。
  • さらなる評価の必要性:
    • より大量のトラフィック検証。
    • ヒューマン参加者による偽陽性率測定の実施。
    • 新興 AI エージェントに対する複雑なタスクの評価。

今後の展望

  • Proof of Human では、進化する脅威に対応すべく変化を継続的に追跡し、方法論を開発・改善していく予定です。

同じ日のほかのニュース

一覧に戻る →

2026/10/21 3:29

許認可付きシムシティ

## Japanese Translation: 「Permit Pending」は、プレイヤーの役割を全能な計画者から市町村行政の実態に直面する脆弱な選出された職吏へと転換させることで、都市シミュレーションを再定義します。明確な勝利条件を持つ従来のゲームとは異なり、このサンドボックス体験は市民が市長を罷免するまで無限に続き、成功の鍵はインフラを整備することのみならず、複雑な官僚主義と政治的課題に対応して生き延びるかに依存することが強調されています。すべての建設プロジェクトは必要な審議会の招集、法的レビュー、さらには潜在的な訴訟を引き起こし、霧などに関する懸念を抱える住宅所有者、業界団体、環境保護主義者からの自然な反対を誘発します。プレイヤーは 4 年ごとの再選に直面する 7 議席の評議会において多数派を維持するため、公聴会で譲歩を行わなければなりません。有権者 turnout が高いグループは時間とともに過剰な影響力を行使するため、変動する政治情勢への適応が求められます。ヒートマップなどの診断ツールにより住民の人口統計が可視化され、特定の政策がなぜ反発やゲーム内の新聞「The Gazette」で報じられたスキャンダルへと至るのかを説明します。いくつかの法的訴訟は市長の任期を超えて継続することもでき、インフラストラクチャに関する決定は土地価格、家賃、雇用、税金、サービスにわたって実質的な経済における予期せぬ結果を生み出します。ブラウザベースのサンドボックスであり勝利画面やキャンペーンモードを備えず、最初の訪問後にはオフラインで動作し、プレイヤーは村として新たなスタートを切るか、他人の都市から既存の問題を引き継ぐことができます。

2026/10/21 7:21

連邦当局は、ランサム交渉担当者による ShinyHunters の金銭要求サイト運営を疑っている

## Japanese Translation: # 結論: 調査は驚くべき事実を明らかにしており、主要なランサムウェア集団「ShinyHunters」が、その伸縮サイトの管理を担当する米国の企業やカナダの企業のトップ経営者から直接的な支援を受けていることが判明した。従来の助言とは異なり、これらの仲介人は積極的に交渉を促進し、場合によっては被害者よりも先に機密データの窃取の詳細を知っていることもある。あるカナダの経営者は、脅迫される前に政府機関のファイルが盗まれていたことをFBIに報告しなかった。この深い協力関係は2019年以来進化しており、殺人依頼計画を含む計画や、「Rey」のような現在の指導者を「Ghostbyte」であるDaniel Tobokなどの以前の人物と結びつけるものも含まれている。 このスキャンダルは業界内で重大な利益相反の問題を浮き彫りにしている:ランソムの一部割合を受け取る仲介人は、攻撃を止めるのではなく、結果としてより高い支払いを促すように無意識に動機付けられる可能性がある。起訴はEdward Dubrovskyのような個人や未起訴の米国コンサルタントを対象としており、企業の過失か積極的な共犯が深刻な法的結果をもたらすことを示している。当局は被害者にランソムの支払いを行わないよう明確に警告しており、データは通常二次的な伸縮のために利用可能であり続けるためである。最終的に、この事件は以前会社を支援していた交渉サービスに対する信頼を破壊しており、一部のサイバー犯罪ネットワークが効果的に動作するためには内部の経営者への依存が不可欠であることを証明している。 ## Text to translate: Summary: A disturbing investigation reveals that major ransomware group ShinyHunters receives direct support from high-level executives at U.S. and Canadian firms who manage its extortion websites. Unlike traditional advice, these intermediaries actively facilitate negotiations, sometimes knowing sensitive data theft details before the victims do. One Canadian executive failed to alert the FBI regarding stolen agency files prior to their threatened release. This deep collaboration has evolved since 2019, involving plans for murder-for-hire and linking current leaders like "Rey" to former figures such as Daniel Tobok ("Ghostbyte"). The scandal highlights a critical conflict of interest within the industry: negotiators charging percentages of ransoms may inadvertently incentivize higher payments rather than stopping attacks. Prosecutions are now focusing on individuals like Edward Dubrovsky and uncharged U.S. consultants, demonstrating that corporate negligence or active collusion carries severe legal consequences. Authorities explicitly advise victims against paying ransoms, as data often remains accessible for secondary extortion. Ultimately, this case destroys trust in negotiation services that previously assisted companies, proving that some cybercriminal networks rely entirely on insider executives to operate effectively.

2026/10/20 18:08

DeepInfer:DeepSeek モデル向けの高性能推論フレームワーク

## Japanese Translation: DeepInfer は、NVIDIA SM100 GPU および Huawei Ascend 950 NPU 上でスケールサービング能力を備え、DeepSeek-V4.1-Flash モデルの DeepSeek の本番サービスを支えるオープンソースの高パフォーマンス推論フレームワークです。主に vLLM に構築され、SGLang および TensorRT-LLM を念頭に置いて設計されています。最適化されたカーネル(FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang)と、Attention DP、バランスの取れた CP、MoE EP+EPLB、DSpark、信頼度に基づく検証、SWA 有界再生非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力(regex/JSON スキーマ/EBNF)を含む高度な並列化戦略を支援します。 コア機能は環境変数経由で設定可能であり、DEEPINFER_ENABLE_MTP_VARLEN=1 で DSpark/検証を有効化し、DEEPINFER_USE_NEXTN_DECODE(デフォルト:5)で最大ドラフト長を制御します。デフォルトの V4.1 設定に対しては、DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact と DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 でデコーダー SWA 有界再生非同期スケジューリングを設定します。デフォルトで CPU バッチスケジューリングとデバイス実行のオーバーラップを可能にするため、非同期スケジューリングを有効化し、NVIDIA 上で DEEPINFER_BATCH_INVARIANT=1 でバッチ構成間での同等の結果を実現するバッチ不変推論を活性化します。DEEPINFER_BATCH_INVARIANT=1、DEEPINFER_ENABLE_MTP_VARLEN=0、SamplingParams の固定 seq_seed を使用することで NVIDIA 上で決定論的サンプリングを実現し、SamplingParams に so_args={"schema_type": ..., "schema": ...} を渡すことで生成を regex/JSON スキーマ/EBNF に制限します。 完全な本番環境のセットアップには、専用の KV キャッシュシステムの統合、 disaggregated 形式での prefill/decode 操作の実施、およびデータ並列レプリカ間での負荷分散(初回リリースには含まれていない)が最終的には必要となる可能性があります。ユーザーは Linux、GCC ≥13.0、Python 3.12、CUDA 13(NVIDIA)または CANN 9.2(Ascend)、そして空の Python 3.12 環境の作成、DEEPINFER_ACCELERATOR=nvidia または ascend のエクスポート、および ./build.sh の実行からすぐに始めることができます。オフライン推論はデフォルトで deepseek-ai/DeepSeek-V4.1-Flash-1017 チェックポイントを使用し、初回実行時に Hugging Face キャッシュにダウンロードするか、DEEPINFER_HF_MODEL_DIR を介してオーバーライドします。例コマンドは python examples/offline_inference.py です。パフォーマンスベンチマークは 1 スケールアップドメイン内での prefill に 4 SM100 GPU、decode に 64 を使用して測定されました(再現は run_sweep.sh で可能;詳細は eval/README.md を参照)。このフレームワークは Apache License 2.0 の元でリリースされており、GitHub(https://github.com/deepseek-ai/DeepInfer)上で DeepSeek-AI(2026)に帰属しています。

2026 年における現代の AI エージェントとの対比によるボット検出システムのベンチマーク評価 | そっか~ニュース