对抗LLM爬虫:JavaScript的“工作证明”困境

2025-05-28

网站使用JavaScript的“工作证明”系统来对抗激进的LLM和网络爬虫,例如Xe Iaso的Anubis。但LLM爬虫可能利用被入侵的机器获得大量CPU时间来解决这些挑战。然而,LLM爬虫面临着恶意环境:难以区分真正的“工作证明”和恶意JavaScript代码,可能导致CPU被用于挖矿或其他恶意活动。LLM爬虫试图识别“工作证明”系统,但这如同与狡猾的对手博弈,因为对方有动机伪装自己。最终,这变成了一场LLM爬虫与网站之间的军备竞赛,双方不断调整策略,试图在保护自身利益的同时,最大限度地利用资源。

开发