AI训练数据爬虫席卷数字文化遗产收藏
2025-06-17
2024年末，一些在线文化遗产收藏机构报告称服务器不堪重负，甚至崩溃，原因是大量AI训练数据爬虫疯狂抓取数据。GLAM-E实验室开展了一项调查，结果显示，这种现象并非个例，许多机构都面临类似问题。爬虫行为对机构基础设施造成严重影响，一些机构甚至被迫下线。调查还发现，robots.txt等传统方法对这些爬虫无效，机构们正尝试各种应对措施，但长久之计仍未可知。
阅读更多
科技
数据爬虫