KI-Webcrawler: Verschlingen sie das offene Web?

Der Aufstieg der KI hat einen Schwarm von KI-Webcrawlern freigesetzt, die unerbittlich Inhalte scrapen, um große Sprachmodelle (LLMs) zu speisen. Dies führt dazu, dass 30 % des globalen Webverkehrs von Bots stammen, wobei KI-Bots die Führung übernehmen. Im Gegensatz zu traditionellen Crawlern sind diese KI-Bots viel aggressiver, ignorieren Crawl-Verzögerungen und Bandbreitenbeschränkungen, was zu Leistungseinbußen, Serviceunterbrechungen und erhöhten Kosten für Websites führt. Kleinere Websites werden oft lahmgelegt, während größere Websites unter immensem Druck stehen, ihre Ressourcen zu skalieren. Obwohl Lösungen wie robots.txt und das vorgeschlagene llms.txt existieren, erweisen sie sich als unzureichend. Dieses Wettrüsten zwischen Websites und KI-Unternehmen riskiert die Fragmentierung des Webs, die Einschränkung des Informationszugangs und möglicherweise den Übergang des Internets zu einem kostenpflichtigen Zugangsmodell.