浦东新区
职位详情
岗位职责：
1设计并落地多模态数据构建流程，涵盖数据采集、清洗、标注、弱监督或自监督样本生成、数据质量评估及反馈机制建设
2搭建并持续维护训练与评测基准体系，覆盖视觉推理、视频理解等核心任务场景
3主导多模态大模型（VLM，Vision-Language Model）的优化工作，包括模型结构适配、训练策略制定、推理效率提升与效果验证
4跟踪前沿技术动态，完成关键技术的可行性验证（PoC），推动新算法或数据方法向生产环境转化
5编写技术文档，总结实践经验，为初级工程师与标注团队提供指导支持
任职要求：
1计算机、电子信息、自动化、应用数学等相关专业本科及以上学历，具备5年以上机器学习或深度学习实战经验，或拥有同等水平的开源项目/竞赛成果
2精通Python，掌握主流深度学习框架（PyTorch、TensorFlow）的使用与调试
3具备扎实的工程实现能力，熟悉Git、Docker、Linux环境，可独立开发可复用的数据处理与模型训练流水线
4熟悉大模型完整训练流程，包括数据准备、预训练、指令微调、评测迭代等环节，具备较强的问题排查与性能优化能力
5具有良好的沟通协作意识和自我驱动力，能在信息不完整情况下主动推进项目进展
专业要求（VLM 与数据构建）：
1多模态模型与视觉表征
1.1熟练掌握以下至少两个方向的技术：VQA、Video Captioning、Video Reasoning、Content Retrieval、Saliency Detection、Behaviror Analysis、Intention Prediction、Multi-Modal Sensing & Understanding
1.2了解主流视觉Backbone与Tokenizer架构，如ViT/ConvNeXt/Swin、SAM、DINO、Q-Former、VQ-VAE等
2训练与对齐
2.1具备多模态对齐、跨模态检索、图文匹配、视觉问答等任务的建模与评估实践经验
2.2掌握指令微调、偏好对齐（RLHF/RLAIF）、对比学习、知识蒸馏、混合专家（MoE）等关键技术
3数据构建与治理
3.1有音视频及多源传感器数据集建设经验，熟悉标签预处理、时空对齐、语义语料分析，具备大规模数据采集、噪声过滤、去重（感知哈希/SimHash/MinHash）、质量评估（启发式规则/模型评分）、分层采样与混料策略实施能力
3.2熟悉标注流程与工具链设计，包括人机协同标注、主动学习、弱监督/自监督数据生成、数据一致性校验与审计机制
3.3理解数据对齐与红队测试理念，具备安全合规意识，关注偏见、毒性检测以及视觉内容的版权与隐私合规问题
4评测与产品化
4.1能够构建多维度评测数据集，覆盖准确性、鲁棒性、幻觉率、安全性、时延与吞吐等关键指标
4.2了解在线评测机制，能将数据、模型与评测环节串联形成持续迭代优化闭环
1设计并落地多模态数据构建流程，涵盖数据采集、清洗、标注、弱监督或自监督样本生成、数据质量评估及反馈机制建设
2搭建并持续维护训练与评测基准体系，覆盖视觉推理、视频理解等核心任务场景
3主导多模态大模型（VLM，Vision-Language Model）的优化工作，包括模型结构适配、训练策略制定、推理效率提升与效果验证
4跟踪前沿技术动态，完成关键技术的可行性验证（PoC），推动新算法或数据方法向生产环境转化
5编写技术文档，总结实践经验，为初级工程师与标注团队提供指导支持
任职要求：
1计算机、电子信息、自动化、应用数学等相关专业本科及以上学历，具备5年以上机器学习或深度学习实战经验，或拥有同等水平的开源项目/竞赛成果
2精通Python，掌握主流深度学习框架（PyTorch、TensorFlow）的使用与调试
3具备扎实的工程实现能力，熟悉Git、Docker、Linux环境，可独立开发可复用的数据处理与模型训练流水线
4熟悉大模型完整训练流程，包括数据准备、预训练、指令微调、评测迭代等环节，具备较强的问题排查与性能优化能力
5具有良好的沟通协作意识和自我驱动力，能在信息不完整情况下主动推进项目进展
专业要求（VLM 与数据构建）：
1多模态模型与视觉表征
1.1熟练掌握以下至少两个方向的技术：VQA、Video Captioning、Video Reasoning、Content Retrieval、Saliency Detection、Behaviror Analysis、Intention Prediction、Multi-Modal Sensing & Understanding
1.2了解主流视觉Backbone与Tokenizer架构，如ViT/ConvNeXt/Swin、SAM、DINO、Q-Former、VQ-VAE等
2训练与对齐
2.1具备多模态对齐、跨模态检索、图文匹配、视觉问答等任务的建模与评估实践经验
2.2掌握指令微调、偏好对齐（RLHF/RLAIF）、对比学习、知识蒸馏、混合专家（MoE）等关键技术
3数据构建与治理
3.1有音视频及多源传感器数据集建设经验，熟悉标签预处理、时空对齐、语义语料分析，具备大规模数据采集、噪声过滤、去重（感知哈希/SimHash/MinHash）、质量评估（启发式规则/模型评分）、分层采样与混料策略实施能力
3.2熟悉标注流程与工具链设计，包括人机协同标注、主动学习、弱监督/自监督数据生成、数据一致性校验与审计机制
3.3理解数据对齐与红队测试理念，具备安全合规意识，关注偏见、毒性检测以及视觉内容的版权与隐私合规问题
4评测与产品化
4.1能够构建多维度评测数据集，覆盖准确性、鲁棒性、幻觉率、安全性、时延与吞吐等关键指标
4.2了解在线评测机制，能将数据、模型与评测环节串联形成持续迭代优化闭环
2026-08-25 14:26
IP属地：上海
职位福利
硕士5-10年C/C++多模态算法Python
维沃移动通信有限公司
不需要融资 · 500-999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
500-1000元/天
算法工程师经验不限硕士图像算法深度学习大模型算法自然语言处理算法算法工程化经验风控算法优秀开源项目经历发表算法相关优秀论文C/C++机器学习强化学习参加算法相关竞赛/获奖Python
上海 浦东新区
4-6.5万元/月
算法工程师5-10年硕士C/C++算法工程化经验通信算法MATLABDFE、DPD、FIR、CFR
上海 浦东新区
2-4万元/月
算法工程师3-5年本科医疗器械独立软件产品人工智能独立软件图像算法C/C++Python深度学习算法工程化经验
上海 浦东新区
收藏职位
