东城区
职位详情
一、岗位职责
1.评测体系标准构建：基于语音语义算法（如语音识别、意图识别、对话生成等）及超级智能体的业务场景与技术特征，建立科学的评测指标体系，制定可执行的标准规范，并持续优化迭代。设计覆盖能力、性能、安全、伦理等多个维度的综合性、高效性大模型多维评测基准（Benchmark），确保评估全面、客观、可复现。
2.深度模型评估：系统开展对自研大模型与外部竞品模型的评测工作，设计智能化评测流程，结合数据挖掘与分析手段，推动评测结果反哺模型优化。具体包括：
-能力评估：针对模型在自然语言理解（NLU）、自然语言生成（NLG）、知识问答、逻辑推理、代码生成、多模态等方面的核心能力进行定量与定性分析。在测试过程中准确识别语音语义功能异常（如识别偏差、语义误解、对话断裂等问题），通过日志排查、数据回溯等方式定位根本原因，输出结构化问题报告，支持算法团队完成迭代改进。
-性能评估：评估语音与语义模型的响应速度、吞吐量以及计算资源占用情况（GPU/CPU/内存）等关键性能参数。
-安全与合规评估（AIGCSafety）：系统性考察模型在有害内容生成、偏见与公平性、事实准确性（幻觉抑制）、抗干扰能力（鲁棒性）以及隐私保护等方面的综合表现。
3.自动化工具链开发：搭建并维护自动化模型评测平台与配套工具链，开发评测脚本与标准化数据集，提升评测工作的效率与一致性。
4.质量体系建设：构建完整的评测质量管理机制，严格把控评测内容质量，推动模型效果持续提升。
5.技术创新跟进：密切跟踪国内外大模型评测领域的最新技术动态、主流评测基准（如HELM、MMLU、C-Eval等）及学术研究成果，并将其有效融入内部评测实践。
二、任职要求：
1.教育背景：计算机科学、人工智能、数学、统计学或相关专业硕士及以上学历；特别优秀者可放宽至本科。
2.技术经验：
-具备5年以上机器学习/深度学习模型评估、测试或开发经验，熟悉语音语义算法基本原理（如ASR、NLP、LLM等），至少有1年专注于大语言模型（LLM）或类似大规模模型的评测工作；具备语音助手、智能客服、人机对话类产品测试经验者优先。
-熟悉Transformer、GPT、BERT等主流大模型的技术架构与核心机制。
-有评测数据运营管理、数据湖建设、数据源目录管理、数据存储布局规划、数据清洗等实践经验者优先；涉及数据类型包括语音、视觉理解及多模态内容。
3.编程与工具：
-精通Python编程，具备扎实的数据分析与处理能力（熟练使用Pandas、Numpy等常用库）。
-有实际使用PyTorch、TensorFlow等主流深度学习框架的经验。
-具备自动化测试框架或评测平台搭建经验者优先。
1.评测体系标准构建：基于语音语义算法（如语音识别、意图识别、对话生成等）及超级智能体的业务场景与技术特征，建立科学的评测指标体系，制定可执行的标准规范，并持续优化迭代。设计覆盖能力、性能、安全、伦理等多个维度的综合性、高效性大模型多维评测基准（Benchmark），确保评估全面、客观、可复现。
2.深度模型评估：系统开展对自研大模型与外部竞品模型的评测工作，设计智能化评测流程，结合数据挖掘与分析手段，推动评测结果反哺模型优化。具体包括：
-能力评估：针对模型在自然语言理解（NLU）、自然语言生成（NLG）、知识问答、逻辑推理、代码生成、多模态等方面的核心能力进行定量与定性分析。在测试过程中准确识别语音语义功能异常（如识别偏差、语义误解、对话断裂等问题），通过日志排查、数据回溯等方式定位根本原因，输出结构化问题报告，支持算法团队完成迭代改进。
-性能评估：评估语音与语义模型的响应速度、吞吐量以及计算资源占用情况（GPU/CPU/内存）等关键性能参数。
-安全与合规评估（AIGCSafety）：系统性考察模型在有害内容生成、偏见与公平性、事实准确性（幻觉抑制）、抗干扰能力（鲁棒性）以及隐私保护等方面的综合表现。
3.自动化工具链开发：搭建并维护自动化模型评测平台与配套工具链，开发评测脚本与标准化数据集，提升评测工作的效率与一致性。
4.质量体系建设：构建完整的评测质量管理机制，严格把控评测内容质量，推动模型效果持续提升。
5.技术创新跟进：密切跟踪国内外大模型评测领域的最新技术动态、主流评测基准（如HELM、MMLU、C-Eval等）及学术研究成果，并将其有效融入内部评测实践。
二、任职要求：
1.教育背景：计算机科学、人工智能、数学、统计学或相关专业硕士及以上学历；特别优秀者可放宽至本科。
2.技术经验：
-具备5年以上机器学习/深度学习模型评估、测试或开发经验，熟悉语音语义算法基本原理（如ASR、NLP、LLM等），至少有1年专注于大语言模型（LLM）或类似大规模模型的评测工作；具备语音助手、智能客服、人机对话类产品测试经验者优先。
-熟悉Transformer、GPT、BERT等主流大模型的技术架构与核心机制。
-有评测数据运营管理、数据湖建设、数据源目录管理、数据存储布局规划、数据清洗等实践经验者优先；涉及数据类型包括语音、视觉理解及多模态内容。
3.编程与工具：
-精通Python编程，具备扎实的数据分析与处理能力（熟练使用Pandas、Numpy等常用库）。
-有实际使用PyTorch、TensorFlow等主流深度学习框架的经验。
-具备自动化测试框架或评测平台搭建经验者优先。
2026-07-05 13:11
IP属地：北京
职位福利
本科5-10年大模型评测评测机构对接经验能带团队
中电信人工智能科技（北京）有限公司
不需要融资 · 1000-9999人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
测试工程师（财务系统，远程面试）
1.1-1.8万元/月
测试工程师3-5年本科软件测试系统测试性能测试ShellPostmanJmeterSeleniumERP系统供应链系统财务系统
北京 东城区
功能与性能测试（具备金融行业背景）
1-1.3万元/月
测试工程师1-3年本科自动化测试经验Java测试工作经验集中交易系统证劵证券性能测试功能测试计算机相关专业JMeter金融自动化测试LoadRunnerSelenium掌握软件测试理论和流程P
北京 东城区
收藏职位
