杭州
职位详情
大小休，必须具备爬虫相关经验，且拥有3年及以上工作经验！
【职位职责】
1. 负责构建高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定专属抓取方案。
3. 提升爬虫运行效率，涵盖请求调度、并发管理、IP池建设、验证码处理、动态代理等技术落地。
4. 对接数据存储、清洗及任务调度系统，为上层数据应用和分析提供稳定支持。
5. 持续监控目标站点变化，及时调整采集逻辑以应对网站结构调整或反爬升级。
【任职要求】
1. 具备3年以上实际爬虫开发经历，精通 Scrapy、Playwright、Selenium、Requests 等主流采集工具。
2. 掌握多种反爬应对技术，可逆向解析网页加密接口，熟练使用抓包工具、JS代码分析、Chrome DevTools调试，有处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的经验，能独立完成js加密逻辑的纯算法还原。
3. 了解常见反检测手段，包括IP代理轮换、浏览器指纹规避、User-Agent伪装、Cookie维护等实践能力。
4. 有成功逆向主流平台（如抖音、小红书、快手、微博、视频号）的经验，熟悉电商、社交、营销类APP的数据采集流程，具备分布式架构设计、任务调度、大数据清洗实战背景。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实践经验。
7. 具备基于深度学习的验证码识别开发能力。
【加分项】
* 掌握 JAVA 开发技能，且愿意后续向 Java 工程师方向发展。
* 有搭建并运维爬虫集群的实际经验。
【职位职责】
1. 负责构建高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2. 针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）制定专属抓取方案。
3. 提升爬虫运行效率，涵盖请求调度、并发管理、IP池建设、验证码处理、动态代理等技术落地。
4. 对接数据存储、清洗及任务调度系统，为上层数据应用和分析提供稳定支持。
5. 持续监控目标站点变化，及时调整采集逻辑以应对网站结构调整或反爬升级。
【任职要求】
1. 具备3年以上实际爬虫开发经历，精通 Scrapy、Playwright、Selenium、Requests 等主流采集工具。
2. 掌握多种反爬应对技术，可逆向解析网页加密接口，熟练使用抓包工具、JS代码分析、Chrome DevTools调试，有处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的经验，能独立完成js加密逻辑的纯算法还原。
3. 了解常见反检测手段，包括IP代理轮换、浏览器指纹规避、User-Agent伪装、Cookie维护等实践能力。
4. 有成功逆向主流平台（如抖音、小红书、快手、微博、视频号）的经验，熟悉电商、社交、营销类APP的数据采集流程，具备分布式架构设计、任务调度、大数据清洗实战背景。
5. 熟练操作 MySQL、PostgreSQL、Clickhouse 等常用数据库。
6. 熟悉 iOS 逆向、Android 逆向，具备丰富的风控对抗实践经验。
7. 具备基于深度学习的验证码识别开发能力。
【加分项】
* 掌握 JAVA 开发技能，且愿意后续向 Java 工程师方向发展。
* 有搭建并运维爬虫集群的实际经验。
2026-08-25 15:14
IP属地：浙江杭州
职位福利
本科1-3年PostgreSQLMySQLRedisPython
河南梦尔达科技有限公司
天使轮 · 1000-9999人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
8000-11000元/月
Python3-5年本科FastAPIDevops留学生优先国内院校优先Linux开发/部署经验分布式经验微服务经验运维开发经验有前端经验/技能DjangoFlaskDockerMySQLMongoDB
杭州 余杭区
收藏职位
