杭州·钱塘区
职位详情
工作职责
1. 构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定专属抓取方案。
3. 提升爬虫运行效率，涵盖请求调度、并发管理、IP资源池建设、验证码处理及动态代理技术落地。
4. 对接数据存储、清洗和任务调度系统，支撑上层数据应用与分析需求。
5. 持续监控目标站点变化，快速响应网站结构调整或反爬机制升级。
任职资格
1. 具备5年以上实际爬虫开发经验，精通 Scrapy、Playwright、Selenium、Requests 等主流采集框架。
2. 深入理解各类反爬对抗手段，可逆向解析网页加密逻辑，熟练掌握抓包调试、JS代码分析、Chrome DevTools 使用，具备处理 AJAX 异步加载、验证码验证、签名参数校验等复杂场景的实战经历，能独立完成 JS 加密逻辑的纯算法还原。
3. 掌握常见反检测技术，包括IP代理体系构建、浏览器指纹规避、User-Agent 伪装、Cookie 管理等实践能力。
4. 有成功逆向主流电商平台、营销平台及热门APP（如抖音、小红书、快手、微博、视频号）的经验，熟悉分布式采集架构、任务调度机制及大规模数据清洗流程。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实战背景。
7. 具备基于深度学习的验证码识别技术能力。
【加分项】
* 掌握 JAVA 编程技能，且愿意未来向 JAVA 开发方向发展。
* 有爬虫集群搭建与长期运维经验
1. 构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定专属抓取方案。
3. 提升爬虫运行效率，涵盖请求调度、并发管理、IP资源池建设、验证码处理及动态代理技术落地。
4. 对接数据存储、清洗和任务调度系统，支撑上层数据应用与分析需求。
5. 持续监控目标站点变化，快速响应网站结构调整或反爬机制升级。
任职资格
1. 具备5年以上实际爬虫开发经验，精通 Scrapy、Playwright、Selenium、Requests 等主流采集框架。
2. 深入理解各类反爬对抗手段，可逆向解析网页加密逻辑，熟练掌握抓包调试、JS代码分析、Chrome DevTools 使用，具备处理 AJAX 异步加载、验证码验证、签名参数校验等复杂场景的实战经历，能独立完成 JS 加密逻辑的纯算法还原。
3. 掌握常见反检测技术，包括IP代理体系构建、浏览器指纹规避、User-Agent 伪装、Cookie 管理等实践能力。
4. 有成功逆向主流电商平台、营销平台及热门APP（如抖音、小红书、快手、微博、视频号）的经验，熟悉分布式采集架构、任务调度机制及大规模数据清洗流程。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实战背景。
7. 具备基于深度学习的验证码识别技术能力。
【加分项】
* 掌握 JAVA 编程技能，且愿意未来向 JAVA 开发方向发展。
* 有爬虫集群搭建与长期运维经验
2026-07-11 13:21
IP属地：浙江杭州
职位福利
大专5-10年
河南梦尔达科技有限公司
天使轮 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
