杭州·西湖区
职位详情
职位描述
- 参与基于 SGLang 框架的大模型推理引擎架构设计与核心模块开发，支持 Transformer、MoE、DiffusionLLM 等多种结构及 LLM/VLM 类模型的高效推理实现
- 应用编译优化、低比特计算、投机采样、稀疏计算、分布式推理等手段，提升大模型推理效率并减少部署开销，同时增强系统稳定性与使用便捷性
- 面向 GPU/AI 芯片架构（含自研硬件平台），进行专项性能调优，改进算子实现、内存分配策略、KV Cache 管理等关键组件
- 联动算法、产品及业务团队，推进多类模型场景下的端到端系统性能协同优化
- 跟踪大模型推理领域前沿技术进展，积极参与 SGLang 及其相关开源生态的建设与贡献
职位要求：
- 计算机、人工智能等相关专业本科及以上学历，具有扎实的计算机体系结构与并行计算理论基础
- 熟练掌握 C/C++、Python 编程语言，能够熟练运用常见性能剖析与调试工具
- 熟悉主流推理框架并具备实际项目经验，如 SGLang、vLLM、TensorRT-LLM、lightllm 等
- 掌握 GPU/AI 芯片编程方法及相关加速库（如 cuBLAS、cuDNN、Cutlass 等），了解模型并行、流水线并行、NVLINK/GPU 通信等高性能计算技术
- 具备大模型推理优化、算子定制开发、模型压缩或量化、分布式部署与调度经验者优先考虑
- 有参与或贡献 SGLang、vLLM 等开源推理框架项目经历者优先录用
- 参与基于 SGLang 框架的大模型推理引擎架构设计与核心模块开发，支持 Transformer、MoE、DiffusionLLM 等多种结构及 LLM/VLM 类模型的高效推理实现
- 应用编译优化、低比特计算、投机采样、稀疏计算、分布式推理等手段，提升大模型推理效率并减少部署开销，同时增强系统稳定性与使用便捷性
- 面向 GPU/AI 芯片架构（含自研硬件平台），进行专项性能调优，改进算子实现、内存分配策略、KV Cache 管理等关键组件
- 联动算法、产品及业务团队，推进多类模型场景下的端到端系统性能协同优化
- 跟踪大模型推理领域前沿技术进展，积极参与 SGLang 及其相关开源生态的建设与贡献
职位要求：
- 计算机、人工智能等相关专业本科及以上学历，具有扎实的计算机体系结构与并行计算理论基础
- 熟练掌握 C/C++、Python 编程语言，能够熟练运用常见性能剖析与调试工具
- 熟悉主流推理框架并具备实际项目经验，如 SGLang、vLLM、TensorRT-LLM、lightllm 等
- 掌握 GPU/AI 芯片编程方法及相关加速库（如 cuBLAS、cuDNN、Cutlass 等），了解模型并行、流水线并行、NVLINK/GPU 通信等高性能计算技术
- 具备大模型推理优化、算子定制开发、模型压缩或量化、分布式部署与调度经验者优先考虑
- 有参与或贡献 SGLang、vLLM 等开源推理框架项目经历者优先录用
2026-08-22 15:10
IP属地：浙江杭州
职位福利
本科3-5年
阿里云计算有限公司
不需要融资 · 10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
