YC 支持的 Web 代理测试平台招聘资深爬虫工程师

一家由 Y Combinator 支持的初创公司正在招聘一位资深 Web 爬虫工程师，负责构建一个能够处理数百万个域名和不断变化的反机器人防御机制的互联网规模的 Web 爬取基础设施。该职位需要精通大规模 Web 抓取和爬取技术（Selenium、Puppeteer、Playwright、Scrapy 等），并具备处理验证码、代理管理和数据清洗等方面的丰富经验。该平台旨在为 Web 代理提供端到端的测试平台，包括用于强化学习驱动的优化的浏览器健身房。