成都·武侯区
职位详情
【岗位背景】
我们是一家AI基础设施公司，核心产品是MaaS平台（模型即服务），目前已聚合了市场上几乎所有主流大模型，并通过统一的API接口开放给客户。
我们正在构建一套智能API路由与调度系统，核心目标是：在几十家模型供应商之间，实时选择最合适、最便宜、最稳定的供应商，将用户的请求动态路由过去。 这个系统的技术本质与CDN/负载均衡/流量调度高度一致，因此我们期待有相关经验的工程师加入，共同打造AI时代的“模型流量网关”。
【岗位职责】
1. 设计与实现多供应商路由网关
· 开发高性能、高可用的API网关层，统一处理鉴权、限流、日志、监控等基础能力。
· 实现动态路由策略：根据成本、响应延迟、成功率、可用区等维度，在多个模型供应商（如OpenAI、Azure、Anthropic、国内厂商等）之间智能选择最优目标。
2. 构建调度决策引擎
· 设计实时指标采集系统，获取各供应商的可用性、成本、排队状况。
· 实现多种调度算法（如成本优先、延迟优先、加权轮询、一致性哈希+亲和性等），并支持动态调整策略权重。
3. 保障服务稳定性与容灾
· 实现自动故障转移、降级、重试、熔断等机制，确保即使部分供应商故障，客户业务仍不受影响。
· 针对长尾请求、慢响应等异常场景设计优雅降级方案。
4. 成本优化与数据洞察
· 通过调度策略持续降低平均请求成本（例如在高峰期避开昂贵供应商，将非实时任务调度到低价时段）。
· 构建供应商成本/性能分析仪表盘，辅助商务谈判和供应商选型。
【任职要求】
硬性门槛（必须满足）：
1. 经验背景： 3年以上后端/分布式系统开发经验，其中至少1年以上API网关、负载均衡、流量调度、CDN调度相关经验。
2. 底层理解： 深入理解API网关的核心能力（路由、限流、熔断、重试），熟悉常见的负载均衡算法，了解分布式系统容错设计。
3. 编程能力： 熟练掌握Golang/Java/Python中的至少一种（Golang更优），有高性能网络编程经验，熟悉常用中间件（Redis、Kafka、etcd等）。
4. 系统设计： 能独立设计中等复杂度的分布式模块，有良好的架构抽象能力。
加分项（有则更佳）：
· 有聚合支付、聚合短信、聚合API平台经验者优先（这是最直接的业务类比）。
· 熟悉云原生生态，有Kubernetes Ingress/Service Mesh（如Istio）二次开发经验。
· 了解AI模型调用基本流程，或对LLM有好奇心。
· 有开源网关项目（如Apache APISIX、Kong、Envoy）贡献经验。
软性特质：
· 成本意识： 不仅考虑技术实现，也关注商业价值（如何帮公司省钱/帮客户省钱）。
· 灰度思维： 能设计可灰度、可观测、可回滚的系统变更方案。
· 强自驱： 愿意在AI浪潮中快速学习和转型。
【我们提供】
· 稀缺赛道： 从传统API网关跨入AI基础设施，成为“模型路由”领域的早期专家。
· 真实挑战： 每天处理百万级请求，面对全球几十家供应商的动态变化，系统复杂度高，技术成长快。
· 务实氛围： 不做PPT，代码和架构说话。
· [其他福利]
我们是一家AI基础设施公司，核心产品是MaaS平台（模型即服务），目前已聚合了市场上几乎所有主流大模型，并通过统一的API接口开放给客户。
我们正在构建一套智能API路由与调度系统，核心目标是：在几十家模型供应商之间，实时选择最合适、最便宜、最稳定的供应商，将用户的请求动态路由过去。 这个系统的技术本质与CDN/负载均衡/流量调度高度一致，因此我们期待有相关经验的工程师加入，共同打造AI时代的“模型流量网关”。
【岗位职责】
1. 设计与实现多供应商路由网关
· 开发高性能、高可用的API网关层，统一处理鉴权、限流、日志、监控等基础能力。
· 实现动态路由策略：根据成本、响应延迟、成功率、可用区等维度，在多个模型供应商（如OpenAI、Azure、Anthropic、国内厂商等）之间智能选择最优目标。
2. 构建调度决策引擎
· 设计实时指标采集系统，获取各供应商的可用性、成本、排队状况。
· 实现多种调度算法（如成本优先、延迟优先、加权轮询、一致性哈希+亲和性等），并支持动态调整策略权重。
3. 保障服务稳定性与容灾
· 实现自动故障转移、降级、重试、熔断等机制，确保即使部分供应商故障，客户业务仍不受影响。
· 针对长尾请求、慢响应等异常场景设计优雅降级方案。
4. 成本优化与数据洞察
· 通过调度策略持续降低平均请求成本（例如在高峰期避开昂贵供应商，将非实时任务调度到低价时段）。
· 构建供应商成本/性能分析仪表盘，辅助商务谈判和供应商选型。
【任职要求】
硬性门槛（必须满足）：
1. 经验背景： 3年以上后端/分布式系统开发经验，其中至少1年以上API网关、负载均衡、流量调度、CDN调度相关经验。
2. 底层理解： 深入理解API网关的核心能力（路由、限流、熔断、重试），熟悉常见的负载均衡算法，了解分布式系统容错设计。
3. 编程能力： 熟练掌握Golang/Java/Python中的至少一种（Golang更优），有高性能网络编程经验，熟悉常用中间件（Redis、Kafka、etcd等）。
4. 系统设计： 能独立设计中等复杂度的分布式模块，有良好的架构抽象能力。
加分项（有则更佳）：
· 有聚合支付、聚合短信、聚合API平台经验者优先（这是最直接的业务类比）。
· 熟悉云原生生态，有Kubernetes Ingress/Service Mesh（如Istio）二次开发经验。
· 了解AI模型调用基本流程，或对LLM有好奇心。
· 有开源网关项目（如Apache APISIX、Kong、Envoy）贡献经验。
软性特质：
· 成本意识： 不仅考虑技术实现，也关注商业价值（如何帮公司省钱/帮客户省钱）。
· 灰度思维： 能设计可灰度、可观测、可回滚的系统变更方案。
· 强自驱： 愿意在AI浪潮中快速学习和转型。
【我们提供】
· 稀缺赛道： 从传统API网关跨入AI基础设施，成为“模型路由”领域的早期专家。
· 真实挑战： 每天处理百万级请求，面对全球几十家供应商的动态变化，系统复杂度高，技术成长快。
· 务实氛围： 不做PPT，代码和架构说话。
· [其他福利]
2026-03-09 15:43
IP属地：四川
职位福利
本科3-5年GolangPythonJavaC语言C++计算机相关专业Golang服务端开发经验中大型项目开发经验系统架构设计经验英语读写能力良好了解ai大模型发展趋势
四川凌速科技有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
