爬虫开发工程师

1-1.8万元/月

广州·天河区

金先生

已实名

企业认证

日通技研（杭州）科技有限公司

职位详情

爬虫工程师

【爬虫开发工程师】

【岗位职责】
• 构建高效、稳定且具备良好扩展性的爬虫架构，保障数据采集的及时性与完整性
• 深入分析各类反爬技术机制，研发应对验证码识别、访问频率限制、IP封锁等问题的有效策略，提高抓取成功率
• 开发并维护代理池系统，实现动态用户代理、Cookies 管理及会话保持等反反爬措施
• 优化爬虫性能，提升页面请求并发能力、数据存储效率及整体抓取速度
• 协同数据分析与产品团队沟通协作，准确理解数据需求，提供可靠的数据支撑服务

【入职要求】
• 学历与专业不限
• 精通 Python 相关技术工具，如 Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与库
• 掌握常见反爬应对方案，包括代理池构建、IP 轮换策略、验证码处理、动态内容解析及 JavaScript 渲染页面采集技术
• 具备丰富的网页访问限制突破经验，熟悉浏览器指纹模拟、Cookies 模拟、会话维持以及前端加密逻辑破解方法
• 熟悉异步编程模型、多进程处理机制及分布式爬虫体系结构，拥有大规模数据抓取与存储实战经历

2026-06-28 12:29

IP属地：广东广州

职位福利

学历不限经验不限Python