AI 봇 트래픽에 압도당하는 학술 웹사이트
2025-06-02
봇 트래픽 급증으로 학술 웹사이트들이 큰 어려움을 겪고 있습니다. 수백만 장의 이미지를 호스팅하는 DiscoverLife와 같은 사이트는 엄청난 트래픽 급증으로 인해 사용할 수 없게 되었습니다. 원인은 무엇일까요? 생성 AI 모델을 훈련하기 위해 데이터를 스크래핑하는 봇입니다. 이는 특정 사례에 국한되지 않습니다. BMJ와 Highwire Press도 유사한 문제를 보고했으며, COAR 조사에 따르면 응답한 회원의 90% 이상이 영향을 받았고, 그중 약 3분의 2는 서비스 중단을 경험했습니다. 오픈 액세스는 재사용을 장려하지만, 이러한 공격적인 스크래핑은 지속 가능하지 않습니다. 리소스 소모가 적은 LLM인 DeepSeek의 출시는 이 문제를 악화시켜 봇 급증을 초래했습니다. 이 문제를 해결하지 않으면 소규모 조직은 생존 위기에 직면하게 될 것입니다.