위키미디어 인프라 위기: AI 데이터 스크래핑 쓰나미
2025-05-02
2024년 초부터 위키미디어 콘텐츠, 특히 위키미디어 커먼즈에 있는 1억 4400만 개의 이미지와 파일의 수요가 급증했습니다. 이 급증은 공개 데이터로 학습된 AI 모델로 인해 발생했으며, 스크래핑 봇으로 인한 대역폭 사용량이 50% 증가했습니다. 이 전례 없는 부하는 위키미디어 인프라에 부담을 주어 속도 저하와 비용 증가를 초래합니다. 놀랍게도 고비용 트래픽의 65%는 봇에서 발생하며, 전체 페이지뷰의 35%라는 비율과는 거리가 멉니다. 위키미디어는 책임 있는 데이터 사용을 촉구하고, 개발자들에게 지원되는 액세스 채널을 사용하도록 권장하여 무료 지식 리소스의 지속 가능성을 보장합니다.
기술