¿Los rastreadores web de IA están devorando la web abierta?

El auge de la IA ha desatado un enjambre de rastreadores web de IA que raspan contenido implacablemente para alimentar modelos de lenguaje grandes (LLM). Esto resulta en que el 30% del tráfico web global provenga de bots, con los bots de IA liderando la carga. A diferencia de los rastreadores tradicionales, estos bots de IA son mucho más agresivos, ignorando los retrasos de rastreo y las limitaciones de ancho de banda, lo que provoca degradación del rendimiento, interrupciones del servicio y un aumento de los costes para los sitios web. Los sitios más pequeños a menudo se ven afectados, mientras que los sitios más grandes enfrentan una inmensa presión para escalar sus recursos. Si bien existen soluciones como robots.txt y el llms.txt propuesto, están demostrando ser insuficientes. Esta carrera armamentista entre sitios web y empresas de IA corre el riesgo de fragmentar la web, restringir el acceso a la información y potencialmente impulsar la internet hacia un modelo de acceso de pago.