나의 작은 서버 vs. AI 데이터 스크래핑 무리

작성자의 개인 웹사이트는 Amazon, Facebook, OpenAI와 같은 대형 기술 회사들을 중심으로 한 대규모 데이터 스크래핑 공격을 받았습니다. 처음에는 리소스 소모가 급증하여 서버가 과부하 상태에 빠졌습니다. Zabbix와 Loki라는 모니터링 도구를 사용하여 작성자는 문제를 파악하고 Nginx 로그를 분석하여 많은 악의적인 IP 주소와 사용자 에이전트를 찾아냈습니다. 최종적으로 작성자는 Nginx 설정과 Fail2Ban을 사용하여 사용자 에이전트 블랙리스트와 IP 주소 차단을 구현하여 공격을 효과적으로 막고 웹사이트 기능을 복원했습니다.