Bekämpfung von missbräuchlichen Web-Crawlern mit gefälschten JPEGs

Der Autor entwickelte eine kleine Webanwendung namens Spigot, die gefälschte Webseiten generiert, um bösartige Web-Crawler zu verwirren. Kürzlich griff ein Crawler namens ImageSiftBot aggressiv nach Bildern, obwohl Spigot keine enthält. Um dem entgegenzuwirken, nutzt der Autor clever die Struktur von JPEG-Dateien und generiert gefälschte JPEGs, die mit zufälligen Daten gefüllt sind. Dies verbraucht effektiv die Ressourcen des Crawlers und minimiert gleichzeitig die CPU-Last auf dem Server. Der Ansatz ist einfach und effizient, erfordert minimalen Code und die generierten Bilder werden in den meisten Browsern korrekt angezeigt.