职位详情
岗位职责:
1.负责完成公司商业查询数据及电商平台数据的采集任务;
2.负责分布式爬虫系统的搭建与维护,管理相关服务器资源,设计并实现任务调度模块;
3.针对各类反爬机制进行技术攻关,确保数据稳定获取;
4.参与公司底层数据平台及相关工具的研发与优化工作。
任职要求:
1.本科及以上学历,计算机或相关专业,具备3年以上爬虫领域开发经验;
2.熟练掌握Python编程语言,拥有至少3年基于Python的项目开发经历;
3.具备大规模数据抓取、解析、清洗和存储的实际项目经验;
4.熟悉Linux操作系统环境及常用操作命令;
5.熟悉Mysql、redis等数据库技术,具备海量数据存储处理经验者优先考虑;
6.掌握逆向工程技术(含App、so文件逆向),熟悉极验、瑞数等防护机制,具备安卓签名校验对抗经验者优先;
7.有多个网站数据采集系统开发或通用采集工具研发经验者优先;
8.具备机器学习、自然语言处理相关研发背景者优先
1.负责完成公司商业查询数据及电商平台数据的采集任务;
2.负责分布式爬虫系统的搭建与维护,管理相关服务器资源,设计并实现任务调度模块;
3.针对各类反爬机制进行技术攻关,确保数据稳定获取;
4.参与公司底层数据平台及相关工具的研发与优化工作。
任职要求:
1.本科及以上学历,计算机或相关专业,具备3年以上爬虫领域开发经验;
2.熟练掌握Python编程语言,拥有至少3年基于Python的项目开发经历;
3.具备大规模数据抓取、解析、清洗和存储的实际项目经验;
4.熟悉Linux操作系统环境及常用操作命令;
5.熟悉Mysql、redis等数据库技术,具备海量数据存储处理经验者优先考虑;
6.掌握逆向工程技术(含App、so文件逆向),熟悉极验、瑞数等防护机制,具备安卓签名校验对抗经验者优先;
7.有多个网站数据采集系统开发或通用采集工具研发经验者优先;
8.具备机器学习、自然语言处理相关研发背景者优先
2026-06-19 13:46
IP属地:湖南长沙
职位福利
本科3-5年爬虫redis

上海凭安征信服务有限公司
不需要融资 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
大数据研发工程师
1.5-2.5万元/月
数据开发1-3年本科要求数据开发经验数据建模经验Kafka非外包类计算机相关专业Spark数据平台开发经验Flink数学/统计相关专业PythonSQL
长沙 开福区
数据应用开发工程师
6000-12000元/月
数据开发3-5年大专外包类要求数据开发经验BI报表开发经验数据治理经验其他数据开发经验PythonSQLHBaseMySQL/SQL ServerOracle
长沙 天心区 青园






