杭州·拱墅区
职位详情
岗位职责
* 基于现有 VLM 模型（如 Qwen-VL/InternVL/LLaVA/BLIP-2 等）开展端侧模型压缩、量化与知识蒸馏，实现完整上线流程。
* 构建“语言指令 → 视觉目标/区域/属性”的映射解析机制，并设计安全控制策略（如黑名单过滤、敏感区域屏蔽）。
* 实现 VLM 输出结果与下游任务模块（抓取/放置/质检）的精准对齐，涵盖目标ID、位姿、置信度以及时序一致性。
* 协同数据团队构建多模态数据集（包含图像、文本描述及操作指令），推动持续迭代学习体系落地。
* 与 ROS2 及操控模块协作，对接多模态服务接口（gRPC/ROS2 service/topic），确保低延迟响应与系统容错能力。
专业要求
* 掌握多模态模型核心技术原理，包括模态对齐、指令微调、LoRA/QLoRA、对比学习（如 CLIP）等方法。
* 熟悉边缘设备推理优化技术，至少掌握 TensorRT、ONNX Runtime、TFLite 或 OpenVINO 其中之一。
* 理解检测、分割、关键点任务与 VLM 的交互逻辑，具备接口设计与误差传递分析能力。
任职资格
* 精通 PyTorch 框架，能够在自有数据集上完成开源模型权重的二次适配，并开展 A/B 测试（评估指标如 mAP/Recall/延迟）。
* 具备轻量化模型部署经验（至少掌握 INT8/FP16 量化、剪枝或蒸馏中的一项），可将模型部署至嵌入式或边缘计算平台（GPU/NPU/BPU）。
* 具备良好的跨团队沟通协作能力，能清晰传达需求、性能指标及上线计划。
其他事项
* 能熟练阅读英文技术文档，具备快速验证和集成前沿开源模型的能力。
* 基于现有 VLM 模型（如 Qwen-VL/InternVL/LLaVA/BLIP-2 等）开展端侧模型压缩、量化与知识蒸馏，实现完整上线流程。
* 构建“语言指令 → 视觉目标/区域/属性”的映射解析机制，并设计安全控制策略（如黑名单过滤、敏感区域屏蔽）。
* 实现 VLM 输出结果与下游任务模块（抓取/放置/质检）的精准对齐，涵盖目标ID、位姿、置信度以及时序一致性。
* 协同数据团队构建多模态数据集（包含图像、文本描述及操作指令），推动持续迭代学习体系落地。
* 与 ROS2 及操控模块协作，对接多模态服务接口（gRPC/ROS2 service/topic），确保低延迟响应与系统容错能力。
专业要求
* 掌握多模态模型核心技术原理，包括模态对齐、指令微调、LoRA/QLoRA、对比学习（如 CLIP）等方法。
* 熟悉边缘设备推理优化技术，至少掌握 TensorRT、ONNX Runtime、TFLite 或 OpenVINO 其中之一。
* 理解检测、分割、关键点任务与 VLM 的交互逻辑，具备接口设计与误差传递分析能力。
任职资格
* 精通 PyTorch 框架，能够在自有数据集上完成开源模型权重的二次适配，并开展 A/B 测试（评估指标如 mAP/Recall/延迟）。
* 具备轻量化模型部署经验（至少掌握 INT8/FP16 量化、剪枝或蒸馏中的一项），可将模型部署至嵌入式或边缘计算平台（GPU/NPU/BPU）。
* 具备良好的跨团队沟通协作能力，能清晰传达需求、性能指标及上线计划。
其他事项
* 能熟练阅读英文技术文档，具备快速验证和集成前沿开源模型的能力。
2026-07-01 12:54
IP属地：浙江杭州
职位福利
硕士3-5年多模态PyTorchVLM深度学习大模型算法多模态算法
润芯微科技（江苏）有限公司
B轮 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
视觉算法工程师
1.2-1.6万元/月
算法工程师1-3年硕士留学生优先国内院校优先图像算法自然语言处理算法C/C++Java嵌入式开发深度学习机器学习算法工程化经验团队管理经验
杭州 拱墅区 东新
VLM/机器人多模态技术工程师
3-5万元/月
算法工程师3-5年本科机器人图像算法深度学习大模型算法自然语言处理算法多模态算法算法工程化经验其他融合感知算法VLAC/C++机器学习VLM强化学习Python
杭州 拱墅区
收藏职位
