
2026/06/15 1:01
Linux バージョン 7.1
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
ウェブサイト管理者は、正規のユーザーへのアクセスを保ちながら AI 企業からのデータスクレイピングを積極的に阻止するために、「Anubis」というツールの導入を行いました。この手法は、暗号通貨のマイニングに似た Proof-of-Work(作業証明)と呼ばれる計算タスクを訪問者に完了させることで機能し、意図的に一時的なダウンタイムを引き起こします。このアプローチは、大規模自動化攻撃に必要な労力を増やす一方で、通常の人間のトラフィックには大きな遅延を招きません。現在、これは headless browsers(実質的なブラウザ環境を持たない自動化ボット)を検出・ブロックするために使用されており、画面でのフォントレンダリングの解析など高度なフィンガープリンディング技術を用いた同定が行われています。しかし、サイトにアクセスするには JShelter などのプライバシー保護ツールの無効化が必要となり、Anubis は特定のモダン JavaScript 機能に依存しているためです。これらの厳格な対策は短期的な戦略であり、システムが headless browsers を完全に同定・ブロックした後には、管理者側で必須のチャレンジページの削除を予定しています。究極的な目標は、強力な反スクレイピング保護を維持しつつ、最終的には不要な障害やダウンタイム 없이認証された訪問者によりスムーズな体験を提供することです。
本文
Anubis の導入について
導入の背景と目的
当ウェブサイトの管理者が、AI 企業による積極的な Web サイトスクレイピングという災厄からサーバーを保護するため、Anubis を導入しました。主な目的は以下の通りです。
- サーバー保護: 大規模なスクレイピングボットへの対応。
- 正当なユーザー体験の維持: スクレイピングボットに対してのみ計算負荷をかけ、個々の正規ユーザーへの影響を最小限に抑える。
- 指紋取得およびヘッダーレスブラウザの検出: フォントレンダリング手法の違いなどを活用し、ボットの識別時間を確保する。
注意: 本対策により、Web サイトの一時的な稼働停止(ダウンタイム)が発生する可能性があります。その結果、すべてのユーザーが一時的にリソースへアクセスできなくなる場合があります。これは一つの妥協案です。
Anubis の仕組み
Anubis は電子メールのスパム削減を目的とした Hashcash 方式(PoW: プルーフ・オブ・ワーク)を採用しています。
- 負荷の偏り:
- 個々のユーザー規模では、追加される負荷は無視可能。
- 大規模なスクレイピングボットが多数参加する場合は、負荷が蓄積し、スクレイピングコストを大幅に増大させる。
ユーザーへの重要なお知らせ
Anubis を正常に動作させるためには、以下の要件を満たす必要があります。
- 最新の JavaScript 機能: 稼働には必須です。古いブラウザでは正しく機能しない可能性があります。
- 拡張機能の制限:
などの拡張機能は、必要な JavaScript 機能を無効化する可能性があります。JShelter
対応策: 本ドメインへのアクセス時は、
および同様の拡張機能を無効化してください。JShelter