AI训练爬虫导致维基媒体带宽暴增50%

维基媒体基金会近日宣布，自2024年1月以来，其用于下载多媒体内容的带宽增加了50%，罪魁祸首竟是AI训练爬虫。这些机器人程序大量抓取维基百科的开放许可图像、视频和文章等数据用于训练AI模型，导致服务器负载飙升，甚至影响了普通用户的访问速度。维基媒体指出，AI爬虫访问的往往是冷门页面，加剧了服务器负担，并呼吁建立可持续的访问机制，以应对不断增长的AI相关流量，保障其免费内容的持续提供。