Website Anti-Scraping: Die Geschichte hinter Anubis

Um aggressive Webscraping-Aktivitäten von KI-Unternehmen zu bekämpfen, wurde ein Anti-Scraping-System namens Anubis implementiert. Anubis verwendet einen Proof-of-Work (PoW)-Mechanismus ähnlich Hashcash, der für einzelne Benutzer nur eine minimale zusätzliche Belastung darstellt, aber die Kosten für groß angelegte Scraper deutlich erhöht. Dies ist eine vorübergehende Lösung; das endgültige Ziel ist die Identifizierung und Blockierung von Headless Browsern, um die Notwendigkeit von PoW für legitime Benutzer zu vermeiden. Beachten Sie, dass Anubis moderne JavaScript-Funktionen benötigt; deaktivieren Sie Plugins wie JShelter für diese Domain.