AI 크롤러, 공개 웹 과부하: Meta와 OpenAI가 주도
2025-08-21
Fastly 보고서에 따르면 AI 크롤러가 놀라운 속도로 공개 웹을 소비하고 있으며, 모든 AI 봇 트래픽의 80%를 차지하고 있습니다. Meta의 AI 부서는 이 크롤러 트래픽의 절반 이상을 차지하고 있으며, OpenAI는 주문형 검색 요청을 지배하고 있습니다. 이러한 과도한 스크래핑은 웹사이트 부하 증가, 서버 과부하, 콘텐츠 제작자 피해로 이어집니다. 일부 기업은 robots.txt 지시문을 무시하고 있으며, 웹사이트 운영자는 Anubis와 같은 안티 스크래핑 기술로 맞서 싸우고 있습니다. 전문가들은 책임감 있는 크롤링 표준을 요구하고 있으며, AI 버블 붕괴만이 이 문제를 해결할 수 있다고 시사하며, 정부 규제가 시급한 과제가 되고 있습니다.
기술
웹 부하