AI爬虫席卷互联网：巨头Meta、OpenAI成罪魁祸首？
2025-08-21
Fastly发布报告称，AI爬虫正以惊人的速度吞噬着互联网，占所有AI机器人流量的80%。Meta的AI部门贡献了超过一半的爬虫流量，而OpenAI则主导了按需抓取请求。这种疯狂的爬取行为导致网站负载激增，服务器不堪重负，损害了内容创作者的利益。一些公司甚至无视robots.txt协议，引发了网站运营商的反击，例如使用Anubis等反爬虫技术。专家呼吁行业建立负责任的爬取规范，甚至认为只有AI泡沫破裂才能解决这个问题，政府监管也迫在眉睫。
科技
互联网负载