Lutter contre les crawlers malveillants avec de faux JPEG
2025-07-12
L'auteur a développé une petite application web appelée Spigot qui génère de fausses pages web pour confondre les crawlers malveillants. Récemment, un crawler appelé ImageSiftBot l'a attaqué agressivement à la recherche d'images, bien que Spigot n'en ait pas. Pour contrer cela, l'auteur utilise intelligemment la structure des fichiers JPEG, générant de faux JPEG remplis de données aléatoires. Cela consomme efficacement les ressources du crawler, minimisant la charge du processeur sur le serveur. L'approche est simple et efficace, nécessitant un minimum de code, et les images générées s'affichent correctement sur la plupart des navigateurs.
Lire plus
Développement
crawlers malveillants