QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

OpenAI 和 Anthropic 忽视阻止机器人抓取网络内容的规则 (www.businessinsider.com)

原文: OpenAI, Anthropic Ignore Rule That Prevents Bots Scraping Web Content - Business Insider

据报道，全球最大的两家 AI 初创公司 OpenAI 和 Anthropic 被发现无视媒体出版商停止抓取其网络内容以获取免费模型训练数据的请求。这两家公司被发现无视或绕过了一项名为 robots.txt 的既定网络规则，该规则旨在阻止自动抓取网站内容。 robots.txt 是一段自 20 世纪 90 年代后期以来一直被使用的代码，网站可以通过它告诉机器人爬虫，它们不希望自己的数据被抓取和收集。