海淀区
职位详情
岗位职责：
1. 将大模型视为“产品”进行测试：从问答能力到Agent行为，设计测试用例、执行评估流程、追踪核心指标，输出分析结论与完整报告。
2. 搭建系统化评测体系：构建专用数据集、定义评估标准、开发配套工具，实现评测流程自动化、结果可视化。【重点】
3. 通过代码提升效率：使用Python编写脚本或平台，自动化重复性评测任务，降低团队人工投入。
4. 以用户视角发现痛点：深入体验产品流程，复盘典型问题案例，协同算法与产品团队推进问题闭环。
5. 关注前沿评测技术：持续跟进LLM-as-a-Judge、多模态基准测试、自动评估等新方法，具备快速落地应用的能力。
6. 推动AI赋能测试：探索“用AI测试AI”的实践路径，研发智能测试辅助工具，提升测试工作的智能化水平。
岗位要求：
1. 学历&年限：计算机、人工智能、数学等相关专业本科及以上学历；具备3年以上测试领域工作经验。
2. 专业深度：
（1）具有大模型（LLM）、NLP、图像识别/CV、多模态或强化学习中至少一类方向的算法评测实战经历；
（2）熟练掌握标注质量相关指标（如准确率、召回率、F1、置信度校准）的计算逻辑与分析方法；
（3）熟悉NLP/CV/多模态常见效果评估指标（如Accuracy、Recall、F1、CIDEr、CLIP-Score等）。
3. 工程落地能力：精通Python语言，可独立完成测试工具及自动化框架开发（有Pytest/Unittest/Playwright经验者优先）。
4. 素养&热情：
（1）学习能力强，善于钻研，具备良好的沟通协作意识；对质量保障与用户体验高度敏感，能主动发现问题并推动解决；
（2）具备较强的自我驱动力和进取精神，积极主动，擅长独立思考与阶段性复盘总结；
（3）关注AI大模型领域最新进展，乐于持续学习，具备创新意识与探索能力。
1. 将大模型视为“产品”进行测试：从问答能力到Agent行为，设计测试用例、执行评估流程、追踪核心指标，输出分析结论与完整报告。
2. 搭建系统化评测体系：构建专用数据集、定义评估标准、开发配套工具，实现评测流程自动化、结果可视化。【重点】
3. 通过代码提升效率：使用Python编写脚本或平台，自动化重复性评测任务，降低团队人工投入。
4. 以用户视角发现痛点：深入体验产品流程，复盘典型问题案例，协同算法与产品团队推进问题闭环。
5. 关注前沿评测技术：持续跟进LLM-as-a-Judge、多模态基准测试、自动评估等新方法，具备快速落地应用的能力。
6. 推动AI赋能测试：探索“用AI测试AI”的实践路径，研发智能测试辅助工具，提升测试工作的智能化水平。
岗位要求：
1. 学历&年限：计算机、人工智能、数学等相关专业本科及以上学历；具备3年以上测试领域工作经验。
2. 专业深度：
（1）具有大模型（LLM）、NLP、图像识别/CV、多模态或强化学习中至少一类方向的算法评测实战经历；
（2）熟练掌握标注质量相关指标（如准确率、召回率、F1、置信度校准）的计算逻辑与分析方法；
（3）熟悉NLP/CV/多模态常见效果评估指标（如Accuracy、Recall、F1、CIDEr、CLIP-Score等）。
3. 工程落地能力：精通Python语言，可独立完成测试工具及自动化框架开发（有Pytest/Unittest/Playwright经验者优先）。
4. 素养&热情：
（1）学习能力强，善于钻研，具备良好的沟通协作意识；对质量保障与用户体验高度敏感，能主动发现问题并推动解决；
（2）具备较强的自我驱动力和进取精神，积极主动，擅长独立思考与阶段性复盘总结；
（3）关注AI大模型领域最新进展，乐于持续学习，具备创新意识与探索能力。
2026-06-26 13:02
IP属地：北京
职位福利
本科3-5年
北京联和利泰科技股份有限公司
不需要融资 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
测试工程师-北京
1.5-2万元/月
测试工程师3-5年本科自动化测试经验Java测试工作经验自动化测试REST AssuredSelenium计算机相关专业JiraPostman
北京 海淀区
收藏职位
