AI爬虫：吞噬互联网的怪兽？

AI的崛起带来了大量AI爬虫，它们疯狂抓取网络内容，用于训练大型语言模型。这导致全球30%的网络流量来自机器人，对网站造成严重冲击。AI爬虫比传统爬虫更具侵略性，忽视爬取延迟和带宽限制，导致网站性能下降、服务中断，甚至小型网站被挤垮。大型网站也面临巨大压力，不得不增加资源以应对。目前，虽然有robots.txt和llms.txt等方案试图解决问题，但效果有限。这场AI与网站之间的军备竞赛，最终可能导致互联网更加碎片化，信息获取更加困难，甚至走向付费化时代。