浦东新区
职位详情
岗位职责：
1设计并落地多模态数据构建流程，涵盖数据采集、清洗、标注、弱监督或自监督样本生成、数据质量评估及反馈机制建设
2搭建并持续维护训练与评测基准体系，覆盖视觉推理、视频理解等核心任务场景
3主导多模态大模型（VLM，Vision-Language Model）的优化工作，包括模型结构适配、训练策略制定、推理效率提升与效果验证
4跟踪前沿技术动态，完成关键技术的可行性验证（PoC），推动新算法或数据方法向生产环境转化
5编写技术文档，总结实践经验，为初级工程师与标注团队提供指导支持
任职要求：
1计算机、电子信息、自动化、应用数学等相关专业本科及以上学历，具备5年以上机器学习或深度学习实战经验，或拥有同等水平的开源项目/竞赛成果
2精通Python，掌握主流深度学习框架（PyTorch、TensorFlow）的使用与调试
3具备扎实的工程实现能力，熟悉Git、Docker、Linux环境，可独立开发可复用的数据处理与模型训练流水线
4熟悉大模型完整训练流程，包括数据准备、预训练、指令微调、评测迭代等环节，具备较强的问题排查与性能优化能力
5具有良好的沟通协作意识和自我驱动力，能在信息不完整情况下主动推进项目进展
专业要求（VLM 与数据构建）：
1多模态模型与视觉表征
1.1熟练掌握以下至少两个方向的技术：VQA、Video Captioning、Video Reasoning、Content Retrieval、Saliency Detection、Behaviror Analysis、Intention Prediction、Multi-Modal Sensing & Understanding
1.2了解主流视觉Backbone与Tokenizer架构，如ViT/ConvNeXt/Swin、SAM、DINO、Q-Former、VQ-VAE等
2训练与对齐
2.1具备多模态对齐、跨模态检索、图文匹配、视觉问答等任务的建模与评估实践经验
2.2掌握指令微调、偏好对齐（RLHF/RLAIF）、对比学习、知识蒸馏、混合专家（MoE）等关键技术
3数据构建与治理
3.1有音视频及多源传感器数据集建设经验，熟悉标签预处理、时空对齐、语义语料分析，具备大规模数据采集、噪声过滤、去重（感知哈希/SimHash/MinHash）、质量评估（启发式规则/模型评分）、分层采样与混料策略实施能力
3.2熟悉标注流程与工具链设计，包括人机协同标注、主动学习、弱监督/自监督数据生成、数据一致性校验与审计机制
3.3理解数据对齐与红队测试理念，具备安全合规意识，关注偏见、毒性检测以及视觉内容的版权与隐私合规问题
4评测与产品化
4.1能够构建多维度评测数据集，覆盖准确性、鲁棒性、幻觉率、安全性、时延与吞吐等关键指标
4.2了解在线评测机制，能将数据、模型与评测环节串联形成持续迭代优化闭环
1设计并落地多模态数据构建流程，涵盖数据采集、清洗、标注、弱监督或自监督样本生成、数据质量评估及反馈机制建设
2搭建并持续维护训练与评测基准体系，覆盖视觉推理、视频理解等核心任务场景
3主导多模态大模型（VLM，Vision-Language Model）的优化工作，包括模型结构适配、训练策略制定、推理效率提升与效果验证
4跟踪前沿技术动态，完成关键技术的可行性验证（PoC），推动新算法或数据方法向生产环境转化
5编写技术文档，总结实践经验，为初级工程师与标注团队提供指导支持
任职要求：
1计算机、电子信息、自动化、应用数学等相关专业本科及以上学历，具备5年以上机器学习或深度学习实战经验，或拥有同等水平的开源项目/竞赛成果
2精通Python，掌握主流深度学习框架（PyTorch、TensorFlow）的使用与调试
3具备扎实的工程实现能力，熟悉Git、Docker、Linux环境，可独立开发可复用的数据处理与模型训练流水线
4熟悉大模型完整训练流程，包括数据准备、预训练、指令微调、评测迭代等环节，具备较强的问题排查与性能优化能力
5具有良好的沟通协作意识和自我驱动力，能在信息不完整情况下主动推进项目进展
专业要求（VLM 与数据构建）：
1多模态模型与视觉表征
1.1熟练掌握以下至少两个方向的技术：VQA、Video Captioning、Video Reasoning、Content Retrieval、Saliency Detection、Behaviror Analysis、Intention Prediction、Multi-Modal Sensing & Understanding
1.2了解主流视觉Backbone与Tokenizer架构，如ViT/ConvNeXt/Swin、SAM、DINO、Q-Former、VQ-VAE等
2训练与对齐
2.1具备多模态对齐、跨模态检索、图文匹配、视觉问答等任务的建模与评估实践经验
2.2掌握指令微调、偏好对齐（RLHF/RLAIF）、对比学习、知识蒸馏、混合专家（MoE）等关键技术
3数据构建与治理
3.1有音视频及多源传感器数据集建设经验，熟悉标签预处理、时空对齐、语义语料分析，具备大规模数据采集、噪声过滤、去重（感知哈希/SimHash/MinHash）、质量评估（启发式规则/模型评分）、分层采样与混料策略实施能力
3.2熟悉标注流程与工具链设计，包括人机协同标注、主动学习、弱监督/自监督数据生成、数据一致性校验与审计机制
3.3理解数据对齐与红队测试理念，具备安全合规意识，关注偏见、毒性检测以及视觉内容的版权与隐私合规问题
4评测与产品化
4.1能够构建多维度评测数据集，覆盖准确性、鲁棒性、幻觉率、安全性、时延与吞吐等关键指标
4.2了解在线评测机制，能将数据、模型与评测环节串联形成持续迭代优化闭环
2026-05-27 13:21
IP属地：上海
职位福利
硕士5-10年C/C++多模态算法Python
维沃移动通信有限公司
不需要融资 · 500-999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
关系图谱算法工程师
800-1300元/天
兼职算法工程师5-10年硕士留学生优先多模态算法C/C++PythonJavaMATLAB大数据处理框架(Spark/Hadoop/Hive)深度学习机器学习大模型算法算法工程化经验
上海 浦东新区
谭女士 · Datatist5日内活跃
关系图谱的算法挖掘经验、海量数据下的图数据库建设经验、具备银行项目经验优先
3-3.5万元/月
算法工程师3-5年本科留学生优先推荐算法搜索算法Python机器学习算法工程化经验
上海 浦东新区
谭女士 · Datatist5日内活跃
软件研发工程师（智能化方向）
3-3.5万元/月
算法工程师3-5年本科C/C++主流AI框架大模型算法AI高性能算子的开发经验XPU模型加速/性能优化Python
上海 浦东新区
刘先生 · 小米5日内活跃
AI开发工程师
1.2-1.8万元/月
算法工程师1-3年本科语音算法Java搜索算法自然语言处理算法多模态算法算法工程化经验强化学习模型加速/性能优化Python
上海 浦东新区
崔女士 · Integle5日内活跃
大模型算法研发工程师
3-4万元/月
算法工程师1年以下本科发表算法相关优秀论文语音算法NLP98525届大模型算法大数据处理框架(Spark/Hadoop/Hive)算法工程化经验参加算法相关竞赛/获奖Fine-tuning名校Pyth
上海 浦东新区
王女士 · 澳鹏科技5日内活跃
收藏职位
