Les robots d'exploration Web IA : en train de dévorer le Web ouvert ?

L'essor de l'IA a libéré un essaim de robots d'exploration Web IA, grattant sans relâche du contenu pour alimenter les grands modèles de langage (LLM). Cela se traduit par 30 % du trafic Web mondial provenant de robots, les robots IA étant à la tête. Contrairement aux robots d'exploration traditionnels, ces robots IA sont beaucoup plus agressifs, ignorant les délais d'exploration et les limitations de bande passante, ce qui entraîne une dégradation des performances, des interruptions de service et une augmentation des coûts pour les sites Web. Les petits sites sont souvent paralysés, tandis que les grands sites subissent une pression immense pour augmenter leurs ressources. Bien que des solutions comme robots.txt et le llms.txt proposé existent, elles s'avèrent insuffisantes. Cette course aux armements entre les sites Web et les entreprises d'IA risque de fragmenter le Web, de restreindre l'accès à l'information et de pousser potentiellement Internet vers un modèle d'accès payant.