QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

探索 Shopify 域名： 一段 Common Crawl 数据之旅 (alistechtales.substack.com)

原文: Discovering Shopify Domains: A Journey Through Common Crawl Data

本文作者详细介绍了如何从 Common Crawl 下载并处理超过 3TB 的数据，以发现 Shopify 域名。作者首先下载并解析了包含超过 450 亿个 URL 的 4800 个数据文件，提取了所有域名和子域名。然后，利用 Google 和 Cloudflare 的 DNS over HTTPS 服务将这些域名解析为 IP 地址。为了提高效率，作者使用了 Python 的 aiohttp 和 multiprocessing 库进行并行处理。最终，作者成功发现了超过 46.5 万个 Shopify 域名。