Los rastreadores de IA saturan la web abierta: Meta y OpenAI lideran la carga
Un informe de Fastly revela que los rastreadores de IA están consumiendo la web abierta a un ritmo alarmante, representando el 80% de todo el tráfico de bots de IA. La división de IA de Meta contribuye con más de la mitad de este tráfico de rastreadores, mientras que OpenAI domina las solicitudes de búsqueda a demanda. Esta raspado excesivo lleva al aumento de la carga del sitio web, sobrecarga del servidor y perjudica a los creadores de contenido. Algunas empresas ignoran las directivas robots.txt, lo que lleva a los operadores de sitios web a contraatacar con técnicas anti-raspado como Anubis. Los expertos piden estándares de rastreo responsables, incluso sugiriendo que solo el estallido de la burbuja de IA puede resolver esto, con la regulación gubernamental volviéndose urgente.