AI 웹 크롤러: 열린 웹을 집어삼키는가?

AI의 부상으로 인해 대량의 AI 웹 크롤러가 대규모 언어 모델(LLM)에 공급할 콘텐츠를 무자비하게 스크래핑하고 있습니다. 이로 인해 전 세계 웹 트래픽의 30%가 봇에서 발생하며, AI 봇이 대부분을 차지합니다. 기존 크롤러와 달리 이러한 AI 봇은 훨씬 공격적이며, 크롤링 지연 및 대역폭 제한을 무시하기 때문에 웹사이트 성능 저하, 서비스 중단, 비용 증가를 야기합니다. 소규모 사이트는 종종 기능 장애를 일으키고, 대규모 사이트는 리소스 확장에 막대한 압력을 받습니다. robots.txt 및 제안된 llms.txt와 같은 솔루션이 있지만, 효과는 불충분합니다. 웹사이트와 AI 기업 간의 이러한 군비 경쟁은 웹의 분열, 정보 접근 제한, 그리고 인터넷이 유료 접근 모델로 전환될 가능성을 높이는 위험이 있습니다.