웹사이트 반크롤링: Anubis의 작동 방식
2025-04-12
AI 기업의 공격적인 웹 스크래핑에 대응하기 위해 Anubis라는 반크롤링 시스템이 구현되었습니다. Anubis는 Hashcash와 유사한 작업 증명(PoW) 메커니즘을 사용하며, 개별 사용자에 대한 오버헤드는 최소화하지만 대규모 크롤러의 비용은 크게 증가시킵니다. 이것은 임시적인 해결책이며, 최종 목표는 헤드리스 브라우저를 식별하고 차단하여 정상적인 사용자에게 PoW가 필요하지 않도록 하는 것입니다. Anubis는 최신 JavaScript 기능을 필요로 하므로 JShelter와 같은 플러그인을 비활성화하십시오.
기타
반크롤링