ウェブサイトのアンチスクレイピング:Anubisの仕組み
2025-06-04
あるウェブサイトは、AI企業による大規模なデータスクレイピングに対抗するために、Anubisと呼ばれるアンチスクレイピングメカニズムを採用しています。AnubisはHashcashに似たプルーフオブワークスキームを使用しており、個々のユーザーへの影響は最小限ですが、大規模なスクレイピングのコストを大幅に増加させるため、ウェブサイトのリソースを保護します。現在、Anubisは一時的な解決策として機能しており、ウェブサイトはヘッドレスブラウザの特定やその他の技術にさらに投資し、悪意のあるスクレイピングをより正確に防止する予定です。
テクノロジー