搜索
登录注册

职位详情

职位描述:
我们正在寻找一位经验丰富的资深爬虫工程师,您将负责构建大规模、高质量模型训练数据集,为前沿大模型训练提供核心数据支持。作为数据团队的技术骨干,您的工作将直接助力行业领先大模型的研发推进与性能提升。如果您擅长数据采集、清洗与处理,对高精度数据和人工智能技术有深厚兴趣,并希望在快速发展的AI领域实现技术价值,我们真诚欢迎您的加入。

岗位职责:
1. 负责数据抓取及核心爬虫架构的方案设计与代码实现,解决关键技术难题。
2. 主导多源异构数据的清洗、转换与存储策略制定,搭建高效、稳定且具备扩展性的数据处理流程,保障数据输出的质量与周期。
3. 与数据产品经理、项目交付经理、算法工程师及数据研发人员紧密协作,共同设计面向模型训练的数据处理方案。
4. 深度参与重点数据交付项目,承担技术落地与数据质量管控职责,确保项目按时高质量完成。

岗位要求:
1. 本科及以上学历,计算机科学与技术、数据科学、人工智能等相关专业优先考虑。
2. 拥有2-5年相关工作经验,熟练掌握 Python、JavaScript 等编程语言,熟悉常用 IDE 与开发框架,具备多线程开发经验,了解MQ消息队列及Redis缓存技术,具有高并发分布式系统开发背景。
3. 精通 MySQL、MongoDB 等数据库技术,具备索引优化、慢查询分析与性能调优能力;有对象存储(如 OSS/S3/OBS)使用经历,理解其典型架构与应用规范。
4. 熟悉 Linux 系统基本原理,可编写 Shell 脚本用于日常运维与数据处理;具备扎实的网络基础知识,掌握HTTP/HTTPS、TCP/IP等协议及常用抓包分析工具。
5. 能独立完成从数据采集到清洗、脱敏、去重等全流程处理任务,熟悉主流数据挖掘方法与工具,善于利用开源资源与算法解决实际问题。
6. 有大语言模型(LLM)或多模态模型(如图文融合模型)的实际应用经验,能够编写并优化 Prompt 以提高任务执行效率与结果准确性。
7. 具备强烈的责任意识与自我驱动力,能推动复杂项目顺利实施,对技术难题和数据品质有高标准,始终聚焦业务目标达成。

福利待遇:
六险一金,15天带薪年假!
2026-09-04 13:41
IP属地:江苏无锡

职位福利

本科3-5年爬虫架构逆向jsshellpythonMy SQL数据库数据清洗
企业发布信息图
澳鹏数据科技(上海)有限公司
不需要融资 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

7000-11000元/月
爬虫工程师3-5年本科
盐城 亭湖区
1.8-3.5万元/月
爬虫工程师经验不限学历不限
南京 玄武区
7000-10000元/月
爬虫工程师3-5年本科爬虫
苏州 虎丘区
7000-10000元/月
爬虫工程师3-5年本科爬虫
苏州 虎丘区
5000-8000元/月
包装工3-5人
无锡 江阴市2026年09月09日 19:46
苏州吴江区需要会大小料的师傅,会无机头急需
350-380元/天
钢筋制作3-5人
苏州 吴江区2026年09月09日 19:46

王先生

刚刚活跃
江苏徐州睢宁县招铆工师傅,非标预制的活,电话肖老板
480-500元/天
铆工长期3-5人月结点工技术好吃苦耐劳专业师傅
徐州 云龙区2026年09月09日 19:46

肖先生

刚刚活跃
无锡滨湖区招电焊
300-400元/天
电焊长期1-2人月结焊工证
无锡 滨湖区2026年09月09日 19:46
3000-5000元/月
兼职教师经验不限大专培训机构数学英语语文普通话发音标准线下教育
徐州 鼓楼区