广州·天河区
职位详情
【岗位职责】
· 设计并搭建高效、稳定且具备良好扩展性的爬虫架构，保障数据采集的及时性与完整性
· 深入分析各类反爬技术机制，研发应对验证码、访问频率限制、IP封锁等问题的有效策略，提高抓取成功率
· 构建代理池系统，实现动态用户代理、Cookies管理及会话保持等反反爬技术方案
· 优化爬虫性能，提升页面抓取效率、数据存储结构设计以及请求并发处理能力
· 与数据分析和产品团队紧密协作，准确理解数据需求，提供精准、可靠的原始数据支持
【入职要求】
· 不限学历背景与所学专业
· 精通 Python 相关技术工具：Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与库
· 掌握常见反爬应对方法，如代理池运用、IP轮换、验证码识别、动态内容解析、JavaScript渲染页面采集等
· 具备丰富的网页访问限制突破经验，熟练使用浏览器指纹模拟、Cookies仿真、会话维持、前端加密逆向等技术手段
· 熟悉异步编程模型、多进程处理及分布式爬虫体系结构，拥有大规模数据采集与存储实战经历
· 设计并搭建高效、稳定且具备良好扩展性的爬虫架构，保障数据采集的及时性与完整性
· 深入分析各类反爬技术机制，研发应对验证码、访问频率限制、IP封锁等问题的有效策略，提高抓取成功率
· 构建代理池系统，实现动态用户代理、Cookies管理及会话保持等反反爬技术方案
· 优化爬虫性能，提升页面抓取效率、数据存储结构设计以及请求并发处理能力
· 与数据分析和产品团队紧密协作，准确理解数据需求，提供精准、可靠的原始数据支持
【入职要求】
· 不限学历背景与所学专业
· 精通 Python 相关技术工具：Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与库
· 掌握常见反爬应对方法，如代理池运用、IP轮换、验证码识别、动态内容解析、JavaScript渲染页面采集等
· 具备丰富的网页访问限制突破经验，熟练使用浏览器指纹模拟、Cookies仿真、会话维持、前端加密逆向等技术手段
· 熟悉异步编程模型、多进程处理及分布式爬虫体系结构，拥有大规模数据采集与存储实战经历
2026-06-23 12:44
IP属地：广东广州
职位福利
学历不限经验不限PythonScrapyrequests
日通技研（杭州）科技有限公司
未融资 · 20-99人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
