网站反爬虫机制Anubis详解
2025-08-12
一个网站为了对抗AI公司的大规模数据抓取，采用了名为Anubis的反爬虫机制。Anubis类似于Hashcash，通过增加计算负载来阻止爬虫。这种方法在小规模访问下影响不大，但对于大规模爬虫而言成本显著增加。Anubis是一个临时的解决方案，最终目标是通过识别无头浏览器来更好地区分合法用户和爬虫，从而避免对普通用户造成影响。需要注意的是，Anubis需要现代JavaScript功能，因此请禁用JShelter等插件。
阅读更多
科技