杭州·西湖区
职位详情
职位描述
负责云计算方向的大模型预训练研发，为行业应用提供通用基础模型支持。主要职责涵盖：
1. 构建预训练所需数据体系，涵盖通用文本的采集与清洗、云计算专业数据的甄别与构造，以及面向具体任务的数据获取与合成，研发高效的数据自动筛选与配比方案。
2. 模型评估体系建设，制定适用于通用与领域场景的模型评测指标，构建对应的测试数据集，确保评估结果全面准确地体现模型能力。
3. 训练过程可视化与监控，搭建完整的可观测性平台，实现训练状态实时追踪与异常预警，提前识别潜在性能问题。
4. 模型结构改进与探索，研究适配云计算场景的网络架构，涉及MOE结构、预训练蒸馏策略、长序列建模方法、线性注意力机制及强化学习技术的应用。
5. 训练效率提升，基于主流框架进行性能调优，结合模型特性与任务目标优化训练流程，开发实用工具加快实验迭代周期。
职位要求
1. 计算机、软件工程、数学等相关专业硕士及以上学历，具备良好的问题分析与解决能力；
2. 关注前沿技术发展，富有技术创新意识，具备主动应对复杂挑战的动力；
3. 具备百亿参数以上大模型预训练或再预训练实际经验；
4. 拥有在百卡级GPU集群上开展训练的实践经验；
5. 熟悉Megatron-LLM、DeepSpeed、Colossal-AI等主流训练框架者优先考虑；
6. 在NIPS/NeurIPS、ICLR、ICML、ACL等国际顶级会议或期刊发表过相关论文者优先。
负责云计算方向的大模型预训练研发，为行业应用提供通用基础模型支持。主要职责涵盖：
1. 构建预训练所需数据体系，涵盖通用文本的采集与清洗、云计算专业数据的甄别与构造，以及面向具体任务的数据获取与合成，研发高效的数据自动筛选与配比方案。
2. 模型评估体系建设，制定适用于通用与领域场景的模型评测指标，构建对应的测试数据集，确保评估结果全面准确地体现模型能力。
3. 训练过程可视化与监控，搭建完整的可观测性平台，实现训练状态实时追踪与异常预警，提前识别潜在性能问题。
4. 模型结构改进与探索，研究适配云计算场景的网络架构，涉及MOE结构、预训练蒸馏策略、长序列建模方法、线性注意力机制及强化学习技术的应用。
5. 训练效率提升，基于主流框架进行性能调优，结合模型特性与任务目标优化训练流程，开发实用工具加快实验迭代周期。
职位要求
1. 计算机、软件工程、数学等相关专业硕士及以上学历，具备良好的问题分析与解决能力；
2. 关注前沿技术发展，富有技术创新意识，具备主动应对复杂挑战的动力；
3. 具备百亿参数以上大模型预训练或再预训练实际经验；
4. 拥有在百卡级GPU集群上开展训练的实践经验；
5. 熟悉Megatron-LLM、DeepSpeed、Colossal-AI等主流训练框架者优先考虑；
6. 在NIPS/NeurIPS、ICLR、ICML、ACL等国际顶级会议或期刊发表过相关论文者优先。
2026-08-20 13:36
IP属地：浙江杭州
职位福利
本科3-5年
阿里云计算有限公司
不需要融资 · 10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
