职位详情
1. 设计并构建高可用、高并发的内容采集系统,支持跨平台、多格式(如图文、短视频、长视频等)内容抓取;
2. 实现对主流信息平台的全量与增量数据采集,覆盖社交类、内容类、新闻类网站及海外重点媒体资源;
3. 搭建分布式抓取架构,具备反爬识别与应对能力,支持动态渲染页面的高效解析与获取;
4. 对采集数据进行结构化处理、标签化提取与持久化存储,保障数据的完整性和一致性;
5. 参与内容源技术分析、接口逆向研究、数据流架构设计及内容更新机制优化;
6. 协同数据工程、算法与产品团队,持续提升采集效率与内容覆盖广度。
任职要求
1. 计算机相关专业本科及以上学历,具备3年以上相关工作经验;
2. 精通Python语言及主流爬虫框架(如Scrapy、Playwright、Selenium、Pyppeteer等),具有实际反爬突破经验;
3. 掌握分布式爬虫技术架构,具备大规模数据采集与异步任务调度实战经历;
4. 熟悉JavaScript逆向分析、接口还原和加密参数解析者优先考虑;
5. 有国内外主流内容平台(包括文本与视频类)数据采集经验者优先;
6. 具备较强的信息检索、数据清洗与处理能力;
7. 重视代码质量,具备良好的编程规范和文档编写习惯;
8. 具备良好沟通协作能力,自主学习能力强,乐于攻克复杂平台的数据获取难题。
加分项
具备多平台内容监控与定向采集项目经验;
熟悉Cloudflare防护机制、滑块验证等常见反爬策略,并有成功绕过案例;
拥有海外内容平台数据采集实践经验者优先。
薪资面议!薪资面议!薪资面议!
2. 实现对主流信息平台的全量与增量数据采集,覆盖社交类、内容类、新闻类网站及海外重点媒体资源;
3. 搭建分布式抓取架构,具备反爬识别与应对能力,支持动态渲染页面的高效解析与获取;
4. 对采集数据进行结构化处理、标签化提取与持久化存储,保障数据的完整性和一致性;
5. 参与内容源技术分析、接口逆向研究、数据流架构设计及内容更新机制优化;
6. 协同数据工程、算法与产品团队,持续提升采集效率与内容覆盖广度。
任职要求
1. 计算机相关专业本科及以上学历,具备3年以上相关工作经验;
2. 精通Python语言及主流爬虫框架(如Scrapy、Playwright、Selenium、Pyppeteer等),具有实际反爬突破经验;
3. 掌握分布式爬虫技术架构,具备大规模数据采集与异步任务调度实战经历;
4. 熟悉JavaScript逆向分析、接口还原和加密参数解析者优先考虑;
5. 有国内外主流内容平台(包括文本与视频类)数据采集经验者优先;
6. 具备较强的信息检索、数据清洗与处理能力;
7. 重视代码质量,具备良好的编程规范和文档编写习惯;
8. 具备良好沟通协作能力,自主学习能力强,乐于攻克复杂平台的数据获取难题。
加分项
具备多平台内容监控与定向采集项目经验;
熟悉Cloudflare防护机制、滑块验证等常见反爬策略,并有成功绕过案例;
拥有海外内容平台数据采集实践经验者优先。
薪资面议!薪资面议!薪资面议!
2026-06-29 12:50
IP属地:河南郑州
职位福利
本科3-5年爬虫经验MySQLRedisMongoDBOraclePython

河南多鲸信息技术有限公司
天使轮 · 500-999人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
Python高级开发岗远程工作
1.5-2.5万元/月
Python5-10年本科DjangoPostgreSQLWeb3MySQLRedisMongoDBFlask
郑州 金水区








