AI 爬虫攻击开源项目：一场无声的战争

近年来，大型语言模型（LLM）公司的爬虫程序日益猖獗，对开源项目造成了巨大的压力。这些爬虫不仅无视 robots.txt 协议，还消耗大量资源，导致 SourceHut、KDE GitLab 和 GNOME GitLab 等项目多次宕机。开源社区被迫采取各种防御措施，例如 GNOME 使用 Anubis 项目进行验证码挑战，但这也给普通用户带来了不便。一些项目甚至不得不封锁特定国家或 IP 段。此事件凸显了 AI 公司对开源社区的不公平负担，以及维护开源软件的巨大挑战。