Les robots d'IA submergent le Web ouvert : Meta et OpenAI en tête
Un rapport de Fastly révèle que les robots d'IA consomment le Web ouvert à un rythme alarmant, représentant 80 % de tout le trafic de robots IA. La division IA de Meta contribue à plus de la moitié de ce trafic de robots d'exploration, tandis qu'OpenAI domine les demandes de récupération à la demande. Ce grattage excessif entraîne une augmentation de la charge du site Web, une surcharge du serveur et nuit aux créateurs de contenu. Certaines entreprises ignorent les directives robots.txt, ce qui incite les opérateurs de sites Web à riposter avec des techniques anti-grattage telles qu'Anubis. Les experts demandent des normes de crawling responsables, suggérant même que seule l'éclatement de la bulle de l'IA peut résoudre ce problème, la réglementation gouvernementale devenant urgente.