가짜 JPEG 이미지로 악의적인 웹 크롤러 대응하기
2025-07-12
저자는 악의적인 웹 크롤러를 교란하기 위해 가짜 웹 페이지를 생성하는 Spigot이라는 소규모 웹 애플리케이션을 개발했습니다. 최근 ImageSiftBot이라는 크롤러가 Spigot에 이미지가 없음에도 불구하고 이미지를 적극적으로 가져오려고 시도했습니다. 이에 대응하여 저자는 JPEG 파일 구조를 영리하게 활용하여 무작위 데이터로 채워진 가짜 JPEG 이미지를 생성합니다. 이렇게 하면 크롤러의 리소스를 효과적으로 낭비하고 서버의 CPU 부하를 최소화할 수 있습니다. 이 방법은 간단하고 효율적이며, 최소한의 코드로 구현할 수 있으며, 생성된 이미지는 대부분의 브라우저에서 정상적으로 표시됩니다.
더 보기
개발
악의적인 크롤러