搜索技巧 海洋云增白 开源地图 AI 搜索答案 沙丘魔堡2 压缩机站 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 PostgreSQL AI工具 证券 DirectX DrawingPics 化学 KDE 披萨农场 多动症 植物学 分析化学 Three.js 大会 残疾人学校 初创 QB64 更多

OpenAI 和 Anthropic 忽视阻止机器人抓取网络内容的规则 (www.businessinsider.com)

原文: OpenAI, Anthropic Ignore Rule That Prevents Bots Scraping Web Content - Business Insider

据报道，全球最大的两家 AI 初创公司 OpenAI 和 Anthropic 被发现无视媒体出版商停止抓取其网络内容以获取免费模型训练数据的请求。这两家公司被发现无视或绕过了一项名为 robots.txt 的既定网络规则，该规则旨在阻止自动抓取网站内容。 robots.txt 是一段自 20 世纪 90 年代后期以来一直被使用的代码，网站可以通过它告诉机器人爬虫，它们不希望自己的数据被抓取和收集。