AI 크롤러의 천적: 타르핏의 등장

robots.txt를 무시하는 AI 크롤러에 지친 개발자 Aaron은 크롤러를 정적 파일의 무한한 미로에 가두는 악성 코드 'Nepenthes'를 만들었습니다. 스팸 방지 전략에서 영감을 얻은 이 '타르핏' 기법은 Gergely Nagy가 개발한 'Iocaine'을 포함한 유사한 도구들을 낳았습니다. 서버 부하 및 AI 발전 저해라는 비판도 있지만, 지지자들은 AI의 과도한 확장에 대한 반발이자 콘텐츠 제작자가 통제권을 되찾는 수단으로 보고 있습니다. 이 논쟁은 AI 개발과 온라인 콘텐츠 보호 사이의 긴장 관계를 보여줍니다.