Robôs de Busca da IA: Devorando a Web Aberta?
A ascensão da IA desatou um enxame de robôs de busca da IA, raspando conteúdo implacavelmente para alimentar modelos de linguagem grandes (LLMs). Isso resulta em 30% do tráfego global da web originário de bots, com bots de IA liderando a carga. Ao contrário dos rastreadores tradicionais, esses bots de IA são muito mais agressivos, ignorando atrasos de rastreamento e limitações de largura de banda, causando degradação de desempenho, interrupções de serviço e aumento de custos para sites. Sites menores são frequentemente prejudicados, enquanto sites maiores enfrentam uma pressão imensa para escalar seus recursos. Embora existam soluções como robots.txt e o proposto llms.txt, elas estão se mostrando insuficientes. Essa corrida armamentista entre sites e empresas de IA corre o risco de fragmentar a web, restringindo o acesso à informação e potencialmente impulsionando a internet para um modelo de acesso pago.