搜索引擎爬虫优化：从99.9%到100%的漫长征程

搜索引擎爬虫在抓取网页时，总是会在最后几个域名上耗费数天时间。最近，迁移到新的爬取数据后，内存需求降低了80%，爬取任务数量增加，导致99.9%的爬取在4天内完成，剩余0.1%却耗时一周。问题在于网站规模遵循帕累托分布，一些大型网站（尤其学术网站，拥有大量子域名和文档）以及爬虫对每个域名的并发任务限制。最初随机排序导致大型网站启动较晚，之后尝试按子域名数量排序，却引发了对博客主机的大量并发请求。最终，通过添加请求延迟抖动和调整排序策略，优先处理子域名数量超过8的网站，一定程度上解决了问题，但批量爬取模型的固有缺陷仍需进一步优化。