探索 Shopify 域名： 一段 Common Crawl 数据之旅 (alistechtales.substack.com)

本文作者详细介绍了如何从 Common Crawl 下载并处理超过 3TB 的数据，以发现 Shopify 域名。作者首先下载并解析了包含超过 450 亿个 URL 的 4800 个数据文件，提取了所有域名和子域名。然后，利用 Google 和 Cloudflare 的 DNS over HTTPS 服务将这些域名解析为 IP 地址。为了提高效率，作者使用了 Python 的 aiohttp 和 multiprocessing 库进行并行处理。最终，作者成功发现了超过 46.5 万个 Shopify 域名。