亚马逊调查Perplexity是否存在爬虫滥用行为 (www.wired.com)

亚马逊云计算部门已对人工智能搜索初创公司Perplexity AI展开调查，原因是该公司涉嫌违反亚马逊网络服务规则，抓取了试图阻止其访问的网站内容。Perplexity被指控使用位于亚马逊网络服务上的服务器，绕过 robots.txt 协议，抓取包括 Condé Nast、卫报、福布斯和纽约时报在内的多家新闻网站的内容。Perplexity承认使用第三方公司进行网络爬取，但拒绝透露公司名称，并表示只有在用户提供特定URL时才会绕过 robots.txt 协议。