SourceHut, 서버 과부하를 일으키는 AI 크롤러와 싸우다
2025-03-18
오픈소스 Git 호스팅 서비스 SourceHut은 서버에 과부하를 일으키는 공격적인 AI 웹 크롤러의 물결과 싸우고 있습니다. 회사는 Nepenthes라는 '타르 핏'을 포함한 대응책을 배포했으며, 과도한 봇 트래픽으로 인해 Google Cloud 및 Azure와 같은 여러 클라우드 제공업체를 차단했습니다. 이것은 새로운 문제가 아니며, SourceHut은 2022년 Google의 Go Module Mirror에서 비슷한 문제에 직면했으며, 다른 오픈소스 프로젝트도 영향을 받았습니다. 일부 AI 기업이 robots.txt를 준수할 것을 약속했음에도 불구하고, 남용은 계속되고 있으며, iFixit, Vercel, Diaspora와 같은 사이트에서 문제를 보고하고 있습니다. OpenAI의 GPTBot과 같은 정상적인 크롤러로 가장하는 정교한 스푸핑으로 인해 상황이 더욱 복잡해지고 있습니다. 이로 인해 로그 분석이 어려워지고 AI 크롤러 트래픽 관리라는 증가하는 과제가 부각되고 있습니다. 광고 지표 회사 DoubleVerify는 2024년 하반기에 무효 트래픽이 86% 증가했으며, 그 중 16%가 AI 스크레이퍼 때문이라고 보고했습니다.
개발
데이터 스크레이핑