偽JPEG画像で悪意のあるウェブクローラに対抗する
2025-07-12
著者は、悪意のあるウェブクローラを混乱させるために偽のウェブページを生成するSpigotという小さなウェブアプリケーションを開発しました。最近、ImageSiftBotというクローラが、Spigotに画像がないにもかかわらず、画像を積極的に取得しようとしました。これに対抗するため、著者はJPEGファイルの構造を巧みに利用し、ランダムなデータで満たされた偽のJPEG画像を生成します。これにより、クローラの資源を効果的に浪費し、サーバーのCPU負荷を最小限に抑えることができます。この方法はシンプルで効率的で、最小限のコードで実現でき、生成された画像はほとんどのブラウザで正しく表示されます。
開発
悪意のあるクローラ