海淀区
职位详情
顶级北美ai创业公司-远程办公-资金充裕-是Pre-launch阶段估值最高的ToC公司之一；
目前估值已经3亿美元；公司90%以上都是字节系背景的成员，非常字节范；
经验要求：3~5年经验或者5年以上都可以，必须具备大厂经验；
（居家办公）
职位名称
高级基础设施/DevOps工程师–AI推理与可观测性平台
职位概述
您将负责我们AI推理基础设施的端到端架构、部署和可靠性。这包括设计API层、服务网格或网关（如Kong,Cloudflare）、容器编排（Kubernetes,Docker）、云基础设施以及完整的可观测性：日志记录、指标、追踪、告警和监控。您的工作将确保整个技术栈的高性能、低延迟、高可用性以及强大的监控/事件响应能力。
主要职责
1、架构设计与构建推理基础设施
为推理服务设计可扩展的云API；通过Cloudflare（或类似工具）、API网关/Kong处理入口/边缘路由。
定义和维护Kubernetes集群、Docker容器；为模型部署建立高效的CI/CD流水线。
管理云基础设施的配置（如AWS,GCP,Azure或本地部署）、扩缩容、网络、安全、权限。
2、可观测性、监控与日志记录
告警/事件/预警系统
定义SLA/SLO/错误预算；为指标、日志、追踪创建告警规则（阈值、异常、速率限制）。
设置on-call值班流程、升级机制；与PagerDuty/OpsGenie或类似工具集成。
实现自动告警抑制、告警关联，以减少噪音。
3、可靠性、性能与延迟优化
识别API网关、网络入口、模型加载/卸载、冷启动等方面的瓶颈。
通过缓存、边缘路由（Cloudflare）、高效的通信模式、最小化序列化/反序列化开销来确保低延迟。
容量规划：服务的自动扩缩容、负载测试、压力测试。
4、安全、合规性与韧性
确保流量、密钥、证书管理的安全性。
验证日志记录/数据保留/隐私方面的合规性。
为故障设计：优雅降级、重试、回退、熔断机制。
5、协作与工具开发
与ML工程师（模型服务）、API开发人员、SRE、网络团队紧密合作，确保端到端的可观测性。
必备资格/技能
1、在使用网关工具（Cloudflare,Kong或类似）、Kubernetes,Docker设计、构建和运维云API/推理基础设施方面拥有广泛而深入的经验。
2、在可观测性技术栈方面拥有深厚专业知识：指标（如Prometheus,Datadog）、日志（Fluentd/ELK/Loki/Splunk）、追踪（OpenTelemetry,Jaeger,Zipkin）、仪表盘（Grafana）。
3、具备设计告警/监控/SLO、定义错误预算、建立有效且低误报告警系统的provenability（已验证的能力）。
4、具有高吞吐、低延迟推理系统的经验；了解模型服务（批处理vs实时）、冷/热容器、GPU或其他加速器的使用监控。
5、强大的云基础设施技能：资源供应、扩缩容、网络、安全。基础设施即代码（Terraform,Pulumi,CloudFormation等）。
6、扎实的脚本/编程能力（Python,Go或等效语言），用于自动化、部署、监控/日志代理集成、插桩。
7、良好理解日志格式、结构化日志记录、指标设计（直方图、计数器、计量器）、追踪跨度、关联ID、分布式追踪。
优先资格
1、具有API边缘/网关/CDN技术（CloudflareWorkers,Kong,Envoy,Ambassador等）的经验。
2、具有多租户推理基础设施或服务多个模型/版本/客户的经验。
3、此前在ML/AI环境下进行可观测性相关的工作：监控模型漂移、输出正确性/延迟方差、数据集/输入分布变化。
4、熟悉不同监控/日志粒度、保留期、数据量带来的成本和性能权衡。
5、具有集成可观测性和安全（审计日志、入侵检测、密钥泄漏）的经验。
期望的架构/系统知识
1、深度熟悉Kubernetes：部署模式、命名空间、Pod自动扩缩容、Ingress控制器、服务网格（如果使用）、滚动更新、金丝雀/蓝绿部署。
2、具有API/边缘路由（Cloudflare或类似）、网关（Kong,Envoy等）、TLS、速率限制、认证与授权的经验。
3、可观测性工具链：如何部署代理/Sidecar以进行追踪/日志记录；处理日志和指标的高容量数据流水线（如Fluentd,Logstash,Kafka等）。
4、监控/日志存储与检索：保留策略；成本/性能权衡；可扩展且高效的查询模式。
5、跨可用区/区域的灾难恢复、冗余、高可用性设计。
交付成果与成功指标
API端点和推理服务达到可衡量的延迟和可用性SLA（例如99.9%的正常运行时间，p90/p99延迟
能够主动发现问题（高CPU/GPU使用率、内存泄漏、模型冷启动延迟、错误）且误报率低的告警系统。
到位的on-call流程和运维手册；能够有效响应事件。
降低问题的平均恢复时间；缩短问题发现时间。
高效的资源利用率；通过可观测性实现成本可视化和成本优化。
目前估值已经3亿美元；公司90%以上都是字节系背景的成员，非常字节范；
经验要求：3~5年经验或者5年以上都可以，必须具备大厂经验；
（居家办公）
职位名称
高级基础设施/DevOps工程师–AI推理与可观测性平台
职位概述
您将负责我们AI推理基础设施的端到端架构、部署和可靠性。这包括设计API层、服务网格或网关（如Kong,Cloudflare）、容器编排（Kubernetes,Docker）、云基础设施以及完整的可观测性：日志记录、指标、追踪、告警和监控。您的工作将确保整个技术栈的高性能、低延迟、高可用性以及强大的监控/事件响应能力。
主要职责
1、架构设计与构建推理基础设施
为推理服务设计可扩展的云API；通过Cloudflare（或类似工具）、API网关/Kong处理入口/边缘路由。
定义和维护Kubernetes集群、Docker容器；为模型部署建立高效的CI/CD流水线。
管理云基础设施的配置（如AWS,GCP,Azure或本地部署）、扩缩容、网络、安全、权限。
2、可观测性、监控与日志记录
告警/事件/预警系统
定义SLA/SLO/错误预算；为指标、日志、追踪创建告警规则（阈值、异常、速率限制）。
设置on-call值班流程、升级机制；与PagerDuty/OpsGenie或类似工具集成。
实现自动告警抑制、告警关联，以减少噪音。
3、可靠性、性能与延迟优化
识别API网关、网络入口、模型加载/卸载、冷启动等方面的瓶颈。
通过缓存、边缘路由（Cloudflare）、高效的通信模式、最小化序列化/反序列化开销来确保低延迟。
容量规划：服务的自动扩缩容、负载测试、压力测试。
4、安全、合规性与韧性
确保流量、密钥、证书管理的安全性。
验证日志记录/数据保留/隐私方面的合规性。
为故障设计：优雅降级、重试、回退、熔断机制。
5、协作与工具开发
与ML工程师（模型服务）、API开发人员、SRE、网络团队紧密合作，确保端到端的可观测性。
必备资格/技能
1、在使用网关工具（Cloudflare,Kong或类似）、Kubernetes,Docker设计、构建和运维云API/推理基础设施方面拥有广泛而深入的经验。
2、在可观测性技术栈方面拥有深厚专业知识：指标（如Prometheus,Datadog）、日志（Fluentd/ELK/Loki/Splunk）、追踪（OpenTelemetry,Jaeger,Zipkin）、仪表盘（Grafana）。
3、具备设计告警/监控/SLO、定义错误预算、建立有效且低误报告警系统的provenability（已验证的能力）。
4、具有高吞吐、低延迟推理系统的经验；了解模型服务（批处理vs实时）、冷/热容器、GPU或其他加速器的使用监控。
5、强大的云基础设施技能：资源供应、扩缩容、网络、安全。基础设施即代码（Terraform,Pulumi,CloudFormation等）。
6、扎实的脚本/编程能力（Python,Go或等效语言），用于自动化、部署、监控/日志代理集成、插桩。
7、良好理解日志格式、结构化日志记录、指标设计（直方图、计数器、计量器）、追踪跨度、关联ID、分布式追踪。
优先资格
1、具有API边缘/网关/CDN技术（CloudflareWorkers,Kong,Envoy,Ambassador等）的经验。
2、具有多租户推理基础设施或服务多个模型/版本/客户的经验。
3、此前在ML/AI环境下进行可观测性相关的工作：监控模型漂移、输出正确性/延迟方差、数据集/输入分布变化。
4、熟悉不同监控/日志粒度、保留期、数据量带来的成本和性能权衡。
5、具有集成可观测性和安全（审计日志、入侵检测、密钥泄漏）的经验。
期望的架构/系统知识
1、深度熟悉Kubernetes：部署模式、命名空间、Pod自动扩缩容、Ingress控制器、服务网格（如果使用）、滚动更新、金丝雀/蓝绿部署。
2、具有API/边缘路由（Cloudflare或类似）、网关（Kong,Envoy等）、TLS、速率限制、认证与授权的经验。
3、可观测性工具链：如何部署代理/Sidecar以进行追踪/日志记录；处理日志和指标的高容量数据流水线（如Fluentd,Logstash,Kafka等）。
4、监控/日志存储与检索：保留策略；成本/性能权衡；可扩展且高效的查询模式。
5、跨可用区/区域的灾难恢复、冗余、高可用性设计。
交付成果与成功指标
API端点和推理服务达到可衡量的延迟和可用性SLA（例如99.9%的正常运行时间，p90/p99延迟
能够主动发现问题（高CPU/GPU使用率、内存泄漏、模型冷启动延迟、错误）且误报率低的告警系统。
到位的on-call流程和运维手册；能够有效响应事件。
降低问题的平均恢复时间；缩短问题发现时间。
高效的资源利用率；通过可观测性实现成本可视化和成本优化。
2025-11-19 15:00
IP属地：江西
职位福利
本科5-10年
上海伯周企业管理咨询有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
1.5-3万/月
运维开发工程师经验不限本科LinuxSREPython/ShellElasticsearchKubernetes计算机相关专业通信/工程相关专业运维开发经验大数据运维经验
北京 海淀区
1.6-1.8万/月
运维开发工程师5-10年本科通信/工程相关专业JavaNginxAnsible/Salt/Puppet日志开发维护Kafka运维开发经验Redis计算机相关专业docker
北京 海淀区
收藏职位
