海淀区
职位详情
职位描述
1 配合产研团队推进大模型评测前期关键筹备工作，主导Agent/模型工具调用（Function Calling）方向的评测数据集建设、评估标准（Rubric）设计，建立覆盖全流程的评估校验机制，确保评测数据的准确性与稳定性，为模型优化提供高质量数据支持。
2 紧密协同产品、算法及工程团队，对接业务场景下的数据需求，推动评测方案实施与效果验证，及时同步评估反馈，识别模型与数据层面的问题，提出可落地的改进建议。
3 负责评测数据与校验结果的汇总分析，梳理评测流程中的关键瓶颈，持续完善评测集架构、评估标准及校验逻辑，提升评测执行效率与对模型迭代的响应能力。
4 跟踪大模型与Agent领域评测技术发展动态，研究适用于工具调用能力的新一代评测方法，结合实际业务场景推动创新方案落地，助力提升Agent功能体验与模型迭代质量。
职位要求
1 本科及以上学历，计算机、人工智能、软件工程等相关专业优先考虑。
2 熟悉Python编程，精通提示词工程，深入掌握Agent与Workflow构建原理及Function Calling的技术逻辑与应用实践。
3 具备大模型评测、数据集构建、算法研发或AI产品相关经验，有评估标准制定、评测集搭建实操经历者优先。
4 对数据质量与模型性能变化具备敏锐洞察力，拥有扎实的逻辑思维与问题定位能力，能独立推动评测任务执行与流程优化。
5 具备良好的团队协作意识、沟通协调能力和项目推进能力，工作主动性强，自我驱动，适应高强度工作节奏，热衷探索AI前沿技术与方法论。
1 配合产研团队推进大模型评测前期关键筹备工作，主导Agent/模型工具调用（Function Calling）方向的评测数据集建设、评估标准（Rubric）设计，建立覆盖全流程的评估校验机制，确保评测数据的准确性与稳定性，为模型优化提供高质量数据支持。
2 紧密协同产品、算法及工程团队，对接业务场景下的数据需求，推动评测方案实施与效果验证，及时同步评估反馈，识别模型与数据层面的问题，提出可落地的改进建议。
3 负责评测数据与校验结果的汇总分析，梳理评测流程中的关键瓶颈，持续完善评测集架构、评估标准及校验逻辑，提升评测执行效率与对模型迭代的响应能力。
4 跟踪大模型与Agent领域评测技术发展动态，研究适用于工具调用能力的新一代评测方法，结合实际业务场景推动创新方案落地，助力提升Agent功能体验与模型迭代质量。
职位要求
1 本科及以上学历，计算机、人工智能、软件工程等相关专业优先考虑。
2 熟悉Python编程，精通提示词工程，深入掌握Agent与Workflow构建原理及Function Calling的技术逻辑与应用实践。
3 具备大模型评测、数据集构建、算法研发或AI产品相关经验，有评估标准制定、评测集搭建实操经历者优先。
4 对数据质量与模型性能变化具备敏锐洞察力，拥有扎实的逻辑思维与问题定位能力，能独立推动评测任务执行与流程优化。
5 具备良好的团队协作意识、沟通协调能力和项目推进能力，工作主动性强，自我驱动，适应高强度工作节奏，热衷探索AI前沿技术与方法论。
2026-06-04 20:06
IP属地：北京
职位福利
本科1-3年AGENT 评测大模型FUNCTION CALLINGRUBRIC评测集构建模型评估提示词工程PythonAI 产品数据构建
外企德科数字技术有限公司
10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
语言类标注(AST/TTS)-多语种TTS
9000-14000元/月
数据标注/AI训练师5-10年本科马来语西语越南语菲律宾语印尼语不接受居家办公文本标注视频标注语音标注接受加班数据标注标注数据分析
北京 海淀区 北沙滩
收藏职位
