搜索
登录注册

职位详情

职位描述:
我们正在寻找一位经验丰富的资深爬虫工程师,您将负责构建大规模、高质量模型训练数据集,为前沿大模型训练提供核心数据支持。作为数据团队的技术骨干,您的工作将直接助力行业领先大模型的研发推进与性能提升。如果您擅长数据采集、清洗与处理,对高精度数据和人工智能技术有深厚兴趣,并希望在快速发展的AI领域实现技术价值,我们真诚欢迎您的加入。

岗位职责:
1. 负责数据抓取及核心爬虫架构的方案设计与代码实现,解决关键技术难题。
2. 主导多源异构数据的清洗、转换与存储策略制定,搭建高效、稳定且具备扩展性的数据处理流程,保障数据输出的质量与周期。
3. 与数据产品经理、项目交付经理、算法工程师及数据研发人员紧密协作,共同设计面向模型训练的数据处理方案。
4. 深度参与重点数据交付项目,承担技术落地与数据质量管控职责,确保项目按时高质量完成。

岗位要求:
1. 本科及以上学历,计算机科学与技术、数据科学、人工智能等相关专业优先考虑。
2. 拥有2-5年相关工作经验,熟练掌握 Python、JavaScript 等编程语言,熟悉常用 IDE 与开发框架,具备多线程开发经验,了解MQ消息队列及Redis缓存技术,具有高并发分布式系统开发背景。
3. 精通 MySQL、MongoDB 等数据库技术,具备索引优化、慢查询分析与性能调优能力;有对象存储(如 OSS/S3/OBS)使用经历,理解其典型架构与应用规范。
4. 熟悉 Linux 系统基本原理,可编写 Shell 脚本用于日常运维与数据处理;具备扎实的网络基础知识,掌握HTTP/HTTPS、TCP/IP等协议及常用抓包分析工具。
5. 能独立完成从数据采集到清洗、脱敏、去重等全流程处理任务,熟悉主流数据挖掘方法与工具,善于利用开源资源与算法解决实际问题。
6. 有大语言模型(LLM)或多模态模型(如图文融合模型)的实际应用经验,能够编写并优化 Prompt 以提高任务执行效率与结果准确性。
7. 具备强烈的责任意识与自我驱动力,能推动复杂项目顺利实施,对技术难题和数据品质有高标准,始终聚焦业务目标达成。

福利待遇:
六险一金,15天带薪年假!
2026-07-16 12:48
IP属地:江苏无锡

职位福利

本科3-5年爬虫架构逆向jsshellpythonMy SQL数据库数据清洗
企业发布信息图
澳鹏数据科技(上海)有限公司
不需要融资 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

爬虫工程师
7000-10000元/月
爬虫工程师3-5年本科爬虫
苏州 虎丘区
爬虫开发工程师
7000-10000元/月
爬虫工程师3-5年本科爬虫
苏州 虎丘区
爬虫逆向开发工程师(南京)
1.8-3.5万元/月
爬虫工程师经验不限学历不限
南京 玄武区
熟练工,人品要好30之50岁,会开登高车
350-370元/天
油漆工真石漆腻子工1-2人
苏州 相城区2026年07月24日 08:53

先生

刚刚活跃
南京江宁区招玻璃安装,幕墙安装,其他幕墙人员,九个小时管住不管吃
300-400元/天
其他幕墙人员玻璃安装幕墙安装1-2人
南京 江宁区2026年07月24日 08:53

张先生

刚刚活跃
数控操作工
8000-9000元/月
学徒工全勤奖3-5人月结
常州 武进区 湖塘2026年07月24日 08:53
江苏南通招聘叉车工2名。薪资为7000元以上。要求持有叉车证。
叉车工1-2人月结
南通2026年07月24日 08:53
昆山市市政养护杂工力工
200-240元/天
小工力工雨水箅子1-2个月包吃1-2人日结个人
苏州 昆山市2026年07月24日 08:53
无锡滨湖区找气保焊工两名,要求多层多道成型好看。打磨工两名。地址:硕放裕安路,
气保焊二保焊打磨
无锡 滨湖区2026年07月24日 08:53