职位详情
【职责描述】
1. 开展分布式爬虫系统的开发与维护
2. 参与或主导爬虫算法、反爬机制应对策略、代理IP调度优化的研究与实际部署,提升数据采集的时效性与成功率
3. 对采集到的数据进行清洗、结构化处理及存储,并持续推进系统平台的性能改进
4. 参与或负责爬虫自动化平台的构建与迭代优化
【任职要求】
1. 掌握主流爬虫技术与系统架构,具备反爬虫分析与对抗能力,具有2年以上相关开发经验
2. 具备大型电商平台、直播平台、社交网络或本地生活类平台数据抓取经验,有逆向破解实践者优先考虑
3. 熟练运用Scrapy-Redis、Redis、MongoDB、Mysql、Git等工具和技术
4. 熟悉Linux操作系统下的开发环境,精通Python编程
5. 熟悉Selenium、Pyppeteer等浏览器自动化工具
6. 具备JS逆向、安卓端逆向能力,可实现补环境及RPC HOOK操作
7. 能独立编写frida、xposed hook插件
8. 要求两年以上相关行业工作经验
1. 开展分布式爬虫系统的开发与维护
2. 参与或主导爬虫算法、反爬机制应对策略、代理IP调度优化的研究与实际部署,提升数据采集的时效性与成功率
3. 对采集到的数据进行清洗、结构化处理及存储,并持续推进系统平台的性能改进
4. 参与或负责爬虫自动化平台的构建与迭代优化
【任职要求】
1. 掌握主流爬虫技术与系统架构,具备反爬虫分析与对抗能力,具有2年以上相关开发经验
2. 具备大型电商平台、直播平台、社交网络或本地生活类平台数据抓取经验,有逆向破解实践者优先考虑
3. 熟练运用Scrapy-Redis、Redis、MongoDB、Mysql、Git等工具和技术
4. 熟悉Linux操作系统下的开发环境,精通Python编程
5. 熟悉Selenium、Pyppeteer等浏览器自动化工具
6. 具备JS逆向、安卓端逆向能力,可实现补环境及RPC HOOK操作
7. 能独立编写frida、xposed hook插件
8. 要求两年以上相关行业工作经验
2025-12-05 10:19
IP属地:北京
职位福利
学历不限经验不限

久远谦长(上海)企业管理咨询有限公司
不需要融资 · 500-999人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >







