杭州
职位详情
工作职责:
1. 构建并维护高并发、高可用的分布式爬虫架构，实现对结构化与非结构化数据的稳定高效采集。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定个性化抓取方案。
3. 提升爬虫执行效率，涵盖请求调度优化、并发管理、IP资源调配、验证码处理及动态代理技术落地。
4. 对接数据存储、清洗和任务调度系统，保障底层数据支撑上层产品与分析需求。
5. 持续监控目标站点变化，快速响应网站结构调整或反爬机制升级。
任职资格:
1. 具备2-3年及以上实际爬虫开发经验，精通 Scrapy、Playwright、Selenium、Requests 等主流采集框架。
2. 掌握多种反爬应对方法，可逆向解析网页加密逻辑，具备扎实的调试技能（网络抓包、JS代码分析、Chrome DevTools 使用等），有处理 AJAX 异步加载、验证码验证、签名参数校验等复杂场景的实际案例，能独立完成 JS 加密逻辑的纯算法还原。
3. 了解常见反检测手段，包括IP代理池构建、浏览器指纹规避、User-Agent伪装、Cookie管理等实践能力。
4. 具备对主流电商平台、营销平台及社交类APP（如抖音、小红书、快手、微博、视频号）进行数据采集的逆向经验，熟悉分布式架构、任务调度机制及大数据清洗流程。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实战经历。
7. 具备基于深度学习的验证码识别开发能力。
【加分项】
* 掌握 JAVA 编程语言，且愿意未来向 JAVA 开发方向发展。
* 有爬虫集群搭建与长期运维经验
1. 构建并维护高并发、高可用的分布式爬虫架构，实现对结构化与非结构化数据的稳定高效采集。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定个性化抓取方案。
3. 提升爬虫执行效率，涵盖请求调度优化、并发管理、IP资源调配、验证码处理及动态代理技术落地。
4. 对接数据存储、清洗和任务调度系统，保障底层数据支撑上层产品与分析需求。
5. 持续监控目标站点变化，快速响应网站结构调整或反爬机制升级。
任职资格:
1. 具备2-3年及以上实际爬虫开发经验，精通 Scrapy、Playwright、Selenium、Requests 等主流采集框架。
2. 掌握多种反爬应对方法，可逆向解析网页加密逻辑，具备扎实的调试技能（网络抓包、JS代码分析、Chrome DevTools 使用等），有处理 AJAX 异步加载、验证码验证、签名参数校验等复杂场景的实际案例，能独立完成 JS 加密逻辑的纯算法还原。
3. 了解常见反检测手段，包括IP代理池构建、浏览器指纹规避、User-Agent伪装、Cookie管理等实践能力。
4. 具备对主流电商平台、营销平台及社交类APP（如抖音、小红书、快手、微博、视频号）进行数据采集的逆向经验，熟悉分布式架构、任务调度机制及大数据清洗流程。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实战经历。
7. 具备基于深度学习的验证码识别开发能力。
【加分项】
* 掌握 JAVA 编程语言，且愿意未来向 JAVA 开发方向发展。
* 有爬虫集群搭建与长期运维经验
2026-07-01 15:01
IP属地：浙江杭州
职位福利
本科5-10年爬虫
河南梦尔达科技有限公司
天使轮 · 1000-9999人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
