KI-Crawler überlasten das offene Web: Meta und OpenAI führend

Ein Bericht von Fastly zeigt, dass KI-Crawler das offene Web mit alarmierender Geschwindigkeit konsumieren und 80 % des gesamten KI-Bot-Traffics ausmachen. Metas KI-Abteilung trägt über die Hälfte dieses Crawler-Traffics bei, während OpenAI die On-Demand-Abruf-Anfragen dominiert. Dieses exzessive Scraping führt zu erhöhter Website-Last, Serverüberlastung und schadet Content-Erstellern. Einige Unternehmen ignorieren robots.txt-Direktiven, was Website-Betreiber dazu veranlasst, mit Anti-Scraping-Techniken wie Anubis zu kontern. Experten fordern verantwortungsvolle Crawling-Standards und schlagen sogar vor, dass nur das Platzen der KI-Blase dies lösen kann, wobei staatliche Regulierung dringend notwendig wird.