ウェブサイトのアンチスクレイピング：Anubis の仕組み

AI企業による積極的なウェブサイトスクレイピングに対抗するため、Anubisと呼ばれるアンチスクレイピングシステムが実装されました。Anubisは、Hashcashに似た作業証明（PoW）メカニズムを使用しており、個々のユーザーへのオーバーヘッドは最小限ですが、大規模なスクレイパーのコストは大幅に増加します。これは一時的な解決策であり、最終的な目標はヘッドレスブラウザを特定してブロックし、正当なユーザーに対してPoWを必要としないようにすることです。Anubisは最新のJavaScript機能を必要とするため、JShelterなどのプラグインを無効にしてください。