职位详情
岗位的工作地点是在广州,非外包外派,全自研,大规模数据采集。可以全程线上面试录用。
目前业务增长,初级-中级-高级-资深都有HC,薪资会根据面试评估职级来定。
岗位职责:
1、运用创新思维,通过专业技术突破数据采集与应用中的关键技术难题;
2、以技术驱动数据采集流程,协助数据产品经理精准掌握数据动态,保障数据更新的及时性、准确性与完整性;
3、负责设计并构建大规模分布式爬虫系统、大规模APP采集系统及相关配套服务架构;
4、识别并分析开发过程中的效率瓶颈,结合devops实践,推动爬虫工具向自动化、平台化、工具化演进,提升团队整体研发效能;
5、应用容器化技术,实现系统的一键部署与爬虫资源的高效调度与分配;
任职资格:
1、本科及以上学历,计算机相关专业,掌握操作系统(多线程、多进程)、网络编程、数据结构与算法等基础理论;
2、3年以上在Linux环境下使用主流编程语言(C/C++/JAVA/Python)的开发经验,熟练操作常用Linux命令;
3、2年以上大规模网页爬虫项目实战经验,理解浏览器工作机制,熟悉前端JS、AJAX技术;
4、精通前端JS反爬机制,具备处理动态JS混淆等复杂场景的实战能力;
5、深入掌握非逆向、非侵入式移动端APP数据采集方案;
6、熟悉主流容器编排技术(swarm/k8s/mesos)及其应用场景;
7、熟练掌握至少一门脚本语言(Python/Javascript);
8、熟练使用至少一种数据库系统(Mongodb/HBase/MySQL)。
目前业务增长,初级-中级-高级-资深都有HC,薪资会根据面试评估职级来定。
岗位职责:
1、运用创新思维,通过专业技术突破数据采集与应用中的关键技术难题;
2、以技术驱动数据采集流程,协助数据产品经理精准掌握数据动态,保障数据更新的及时性、准确性与完整性;
3、负责设计并构建大规模分布式爬虫系统、大规模APP采集系统及相关配套服务架构;
4、识别并分析开发过程中的效率瓶颈,结合devops实践,推动爬虫工具向自动化、平台化、工具化演进,提升团队整体研发效能;
5、应用容器化技术,实现系统的一键部署与爬虫资源的高效调度与分配;
任职资格:
1、本科及以上学历,计算机相关专业,掌握操作系统(多线程、多进程)、网络编程、数据结构与算法等基础理论;
2、3年以上在Linux环境下使用主流编程语言(C/C++/JAVA/Python)的开发经验,熟练操作常用Linux命令;
3、2年以上大规模网页爬虫项目实战经验,理解浏览器工作机制,熟悉前端JS、AJAX技术;
4、精通前端JS反爬机制,具备处理动态JS混淆等复杂场景的实战能力;
5、深入掌握非逆向、非侵入式移动端APP数据采集方案;
6、熟悉主流容器编排技术(swarm/k8s/mesos)及其应用场景;
7、熟练掌握至少一门脚本语言(Python/Javascript);
8、熟练使用至少一种数据库系统(Mongodb/HBase/MySQL)。
2026-06-29 13:07
IP属地:广东广州
职位福利
本科3-5年爬虫web端逆向数据采集大规模数据采集猿人学

广州探迹科技有限公司
C轮 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >







