杭州·余杭区
职位详情
早九晚六，单双休
岗位职责：
1.构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2.针对复杂页面（如JS动态渲染、加密接口、反爬策略）设计定制化数据抓取方案。
3.提升爬虫运行效率，涵盖请求调度、并发管理、IP资源池、验证码处理及动态代理等技术落地。
4.对接数据存储、清洗和任务调度系统，支撑上层数据分析与产品化应用。
5.持续监控目标站点变化，快速响应网站结构调整或反爬策略升级。
任职资格：
1.具备5年以上实际爬虫开发经验，精通Scrapy、Playwright、Selenium、Requests等主流采集框架。
2.深入理解各类反爬机制，可逆向分析网页加密逻辑，熟练使用抓包工具、JS代码调试、ChromeDevTools等技术手段，有处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的实战经历，具备独立还原前端加密算法的能力。
3.掌握常见反检测方法，包括IP代理轮换、浏览器指纹规避、User-Agent伪装、Cookie管理等实践技巧。
4.有成功逆向主流电商平台、营销平台、社交平台及热门APP（如抖音、小红书、快手、微博、视频号）的经验，熟悉分布式架构、任务调度机制及大规模数据清洗流程。
5.熟练操作MySQL、PostgreSQL、Clickhouse等常用数据库。
6.了解iOS逆向与Android逆向技术，具备丰富的风控对抗实践经验。
7.具备基于深度学习的验证码识别能力
【加分项】
*掌握JAVA编程技能，且愿意后续向JAVA开发方向发展
*有爬虫集群搭建与运维经验
岗位职责：
1.构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2.针对复杂页面（如JS动态渲染、加密接口、反爬策略）设计定制化数据抓取方案。
3.提升爬虫运行效率，涵盖请求调度、并发管理、IP资源池、验证码处理及动态代理等技术落地。
4.对接数据存储、清洗和任务调度系统，支撑上层数据分析与产品化应用。
5.持续监控目标站点变化，快速响应网站结构调整或反爬策略升级。
任职资格：
1.具备5年以上实际爬虫开发经验，精通Scrapy、Playwright、Selenium、Requests等主流采集框架。
2.深入理解各类反爬机制，可逆向分析网页加密逻辑，熟练使用抓包工具、JS代码调试、ChromeDevTools等技术手段，有处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的实战经历，具备独立还原前端加密算法的能力。
3.掌握常见反检测方法，包括IP代理轮换、浏览器指纹规避、User-Agent伪装、Cookie管理等实践技巧。
4.有成功逆向主流电商平台、营销平台、社交平台及热门APP（如抖音、小红书、快手、微博、视频号）的经验，熟悉分布式架构、任务调度机制及大规模数据清洗流程。
5.熟练操作MySQL、PostgreSQL、Clickhouse等常用数据库。
6.了解iOS逆向与Android逆向技术，具备丰富的风控对抗实践经验。
7.具备基于深度学习的验证码识别能力
【加分项】
*掌握JAVA编程技能，且愿意后续向JAVA开发方向发展
*有爬虫集群搭建与运维经验
2026-07-04 12:24
IP属地：浙江杭州
职位福利
大专5-10年爬虫
河南梦尔达科技有限公司
天使轮 · 1000-9999人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
