成都·武侯区
职位详情
一、工作职责
1.负责网络爬虫系统的架构设计、编码实现与性能调优，高效采集并处理大规模数据；
2.深入分析各类反爬策略，制定有效应对方案，保障数据抓取的持续稳定；
3.对采集数据进行质量监控，完成数据清洗、存储及初步分析工作；
4.持续维护现有爬虫任务，优化运行效率与数据精准度；
5.跟进前沿爬虫技术发展，探索分布式部署、动态页面解析等手段以增强抓取能力；
6.应对IP封锁、验证码拦截等问题，动态调整爬取策略以提升成功率；
二、任职要求
1.本科及以上学历，计算机或软件工程相关专业，具备2年以上开发经验；
2.精通至少一种编程语言：GO、PHP、JAVA、Python等，代码规范良好，基础扎实；
3.有实际分布式爬虫项目经验，掌握主流爬虫框架，了解HTTP协议、页面解析及动态内容抓取技术；
4.熟悉常见反爬手段，能熟练运用代理IP切换、验证码处理、User-Agent模拟等技术突破限制；
5.具备数据预处理和存储能力，熟悉MySQL、MongoDB、Elasticsearch等数据库系统；
6.具备较强的团队协作意识，工作认真负责，沟通能力强。
1.负责网络爬虫系统的架构设计、编码实现与性能调优，高效采集并处理大规模数据；
2.深入分析各类反爬策略，制定有效应对方案，保障数据抓取的持续稳定；
3.对采集数据进行质量监控，完成数据清洗、存储及初步分析工作；
4.持续维护现有爬虫任务，优化运行效率与数据精准度；
5.跟进前沿爬虫技术发展，探索分布式部署、动态页面解析等手段以增强抓取能力；
6.应对IP封锁、验证码拦截等问题，动态调整爬取策略以提升成功率；
二、任职要求
1.本科及以上学历，计算机或软件工程相关专业，具备2年以上开发经验；
2.精通至少一种编程语言：GO、PHP、JAVA、Python等，代码规范良好，基础扎实；
3.有实际分布式爬虫项目经验，掌握主流爬虫框架，了解HTTP协议、页面解析及动态内容抓取技术；
4.熟悉常见反爬手段，能熟练运用代理IP切换、验证码处理、User-Agent模拟等技术突破限制；
5.具备数据预处理和存储能力，熟悉MySQL、MongoDB、Elasticsearch等数据库系统；
6.具备较强的团队协作意识，工作认真负责，沟通能力强。
2026-07-11 14:01
IP属地：四川成都
职位福利
本科1-3年gophppythonjava
中电金信软件有限公司
不需要融资 · 10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
