职位详情
岗位职责:
1、负责开发和优化分布式爬虫系统,提升数据采集效率和质量以及系统的稳定运行;
2、参与数据清洗和预处理流程,保证数据的准确性和可用性;
3、探索和应用新技术,持续改进爬虫技术和数据处理流程;
4、负责数据平台后端需求的设计与开发。
任职要求:
1、精通Python,熟练掌握requests,scrapy,playwright等常用爬虫技术,具备良好的编码习惯和思维逻辑;
2、熟悉分布式系统和网络编程,有分布式爬虫框架开发经验;
3、掌握常用数据库,如redis,mysq|,mongodb等;
4、深入理解HTTP协议,熟练掌握HTML、CSS、JavaScript、AjaxJJS等前端技术;
加分项:
1、熟练使用各种AI辅助编程工具
2、熟练掌握go语言,有一定的大规模数据处理和数据平台开发管理经验;
3、了解并乐于学习大模型微调/推理/评测等方向;
4、工作条理清楚,善于学习,具有良好的沟通和团队协作能力,对工作安排上有一定的责任心和owner意识。
1、负责开发和优化分布式爬虫系统,提升数据采集效率和质量以及系统的稳定运行;
2、参与数据清洗和预处理流程,保证数据的准确性和可用性;
3、探索和应用新技术,持续改进爬虫技术和数据处理流程;
4、负责数据平台后端需求的设计与开发。
任职要求:
1、精通Python,熟练掌握requests,scrapy,playwright等常用爬虫技术,具备良好的编码习惯和思维逻辑;
2、熟悉分布式系统和网络编程,有分布式爬虫框架开发经验;
3、掌握常用数据库,如redis,mysq|,mongodb等;
4、深入理解HTTP协议,熟练掌握HTML、CSS、JavaScript、AjaxJJS等前端技术;
加分项:
1、熟练使用各种AI辅助编程工具
2、熟练掌握go语言,有一定的大规模数据处理和数据平台开发管理经验;
3、了解并乐于学习大模型微调/推理/评测等方向;
4、工作条理清楚,善于学习,具有良好的沟通和团队协作能力,对工作安排上有一定的责任心和owner意识。
2026-08-10 14:58
IP属地:山西
职位福利
大专1-3年爬虫

北京智蓝云信科技有限公司
不需要融资 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
初级数据采集工程师
8000-10000元/月
爬虫工程师1-3年大专PythonHTMLCSS数据采集爬虫开发反爬虫Scrapyrequests数据清洗爬虫监控维护反反爬实践
武汉
湖北武汉【长期全职】招地暖回填、自流平找平施工师傅、小工、学徒工,只招长期工,短期临时工勿
地坪自流平小工工地学徒工长期月结
武汉2026年08月16日 00:33
黄冈团风县招二保焊/气焊、埋弧焊、铆工/钣金工
400-450元/天
埋弧焊工气保焊二保焊铆工钣金工3-5人
黄冈 团风县2026年08月16日 00:21

先生
刚刚活跃湖北咸宁招隧道钢模二衬,非专业的班组勿扰
二衬长期6-10人月结
咸宁2026年08月16日 00:15

宋先生
刚刚活跃







