AI训练数据爬虫威胁文化机构数字资源

近期，大量用于AI训练的爬虫机器人疯狂抓取文化机构（如博物馆、档案馆）的数字资源，导致其网站不堪重负，甚至瘫痪。一项针对43家机构的调查显示，近90%的受访者遭遇了此类问题，机器人.txt规则和现有防护措施效果不佳。研究人员呼吁AI公司开发更负责任的数据获取方式，避免给文化机构造成持续的经济负担和技术挑战。