虚拟线程吞噬内存：一个网络爬虫的速度与内存之战
2025-05-30
作者使用Java虚拟线程构建了一个网络爬虫，起初速度大幅提升，但随后却遭遇了OutOfMemoryError。这篇文章讲述了作者如何利用虚拟线程提高爬虫速度，以及如何通过引入信号量限制并发任务数量来解决由虚拟线程导致的内存溢出问题。作者比较了使用平台线程和虚拟线程的爬虫性能，并探讨了在使用虚拟线程时需要注意的资源管理问题，提醒开发者虚拟线程虽然高效，但需要更精细的资源管理以避免内存问题。
阅读更多
开发