朝阳区
职位详情
职位描述
- 参与基于 SGLang 框架的大模型推理引擎架构设计与核心模块开发，支持 Transformer、MoE、DiffusionLLM 等多种结构及 LLM/VLM 类模型的高效推理实现
- 应用编译优化、低比特计算、投机采样、稀疏计算、分布式推理等手段，提升大模型推理效率并减少部署开销，同时增强系统稳定性与使用便捷性
- 面向 GPU/AI 芯片架构（含自研硬件平台），进行深度性能调优，重点优化算子执行、内存调度、KV Cache 管理等关键组件
- 联合算法、产品及业务团队，推进多类模型在实际场景中的端到端系统性能调优工作
- 跟踪大模型推理领域前沿技术进展，积极参与 SGLang 及相关开源社区的建设与贡献
职位要求：
- 计算机、人工智能等相关专业本科及以上学历，具有扎实的计算机体系结构和并行计算理论基础
- 熟练掌握 C/C++、Python 编程语言，能够熟练运用常见性能剖析与调试工具
- 熟悉主流推理框架并具备实际项目经验，如 SGLang、vLLM、TensorRT-LLM、lightllm 等
- 掌握 GPU/AI 芯片编程技术及常用加速库（如 cuBLAS、cuDNN、Cutlass），了解模型并行、流水线并行、NVLINK/GPU 通信等高性能计算方法
- 具备大模型推理优化、算子定制、模型压缩或量化、分布式部署与资源调度经验者优先考虑
- 有参与或贡献 SGLang、vLLM 等开源推理框架项目经历者优先录用
- 参与基于 SGLang 框架的大模型推理引擎架构设计与核心模块开发，支持 Transformer、MoE、DiffusionLLM 等多种结构及 LLM/VLM 类模型的高效推理实现
- 应用编译优化、低比特计算、投机采样、稀疏计算、分布式推理等手段，提升大模型推理效率并减少部署开销，同时增强系统稳定性与使用便捷性
- 面向 GPU/AI 芯片架构（含自研硬件平台），进行深度性能调优，重点优化算子执行、内存调度、KV Cache 管理等关键组件
- 联合算法、产品及业务团队，推进多类模型在实际场景中的端到端系统性能调优工作
- 跟踪大模型推理领域前沿技术进展，积极参与 SGLang 及相关开源社区的建设与贡献
职位要求：
- 计算机、人工智能等相关专业本科及以上学历，具有扎实的计算机体系结构和并行计算理论基础
- 熟练掌握 C/C++、Python 编程语言，能够熟练运用常见性能剖析与调试工具
- 熟悉主流推理框架并具备实际项目经验，如 SGLang、vLLM、TensorRT-LLM、lightllm 等
- 掌握 GPU/AI 芯片编程技术及常用加速库（如 cuBLAS、cuDNN、Cutlass），了解模型并行、流水线并行、NVLINK/GPU 通信等高性能计算方法
- 具备大模型推理优化、算子定制、模型压缩或量化、分布式部署与资源调度经验者优先考虑
- 有参与或贡献 SGLang、vLLM 等开源推理框架项目经历者优先录用
2026-07-04 14:59
IP属地：北京
职位福利
本科3-5年
阿里云计算有限公司
不需要融资 · 10000人以上
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
