AI 스크래핑 군비 경쟁: 문제의 늪

AI 기업의 과도한 온라인 리소스 스크래핑에 대응하기 위해 '타르핏(tarpit)'이라는 기술이 등장했습니다. 이는 AI 크롤러의 리소스를 소모하여 비용을 증가시켜 아직 수익을 내지 못한 기업들에게 큰 어려움을 안겨줍니다. Cloudflare의 'AI 미궁'도 비슷한 접근 방식을 취하지만, 더욱 상업적으로 세련되어 웹사이트를 무단 스크래핑으로부터 보호하는 것을 목표로 합니다. 그러나 AI 크롤러는 매일 500억 건 이상의 요청을 생성하여 온라인 리소스에 막대한 압력을 가하고 오픈소스 프로젝트의 지속 가능성을 위협합니다. 커뮤니티 또한 'ai.robots.txt' 프로젝트 등 이러한 크롤러에 대응하기 위한 협업 도구를 개발하고 있습니다. AI 기업이 영향을 받은 커뮤니티와 협력하거나 규제가 도입되지 않는 한, 이러한 데이터 탈취는 악화되어 전체 디지털 생태계를 위험에 빠뜨릴 것입니다.