南京·栖霞区
职位详情
岗位职责
集群治理
熟练掌握Hadoop生态系统的运维工作，保障YARN、Spark、Flink、Kafka等核心组件集群的高可用性，具备独立排查并处理各类生产环境问题的能力。
性能优化与成本管控
通过资源调度策略优化（如YARNCapacityScheduler、K8SHPA）及数据倾斜问题治理，持续提升任务运行效率。
构建集群资源使用模型，识别低效节点，推进资源利用效率的整体提升。
全链路监控与应急响应
搭建三层监控架构（硬件层→服务层→业务层），结合Prometheus与Alertmanager实现5分钟内异常发现。
主导P1级别故障处置，制定标准化应急流程（Runbook），推动关键场景自动切换机制落地（如HDFSNameNode主备快速切换）。
安全与规范
实施Kerberos身份认证与Ranger权限管理策略，对高风险操作进行审计追踪（如敏感HDFS文件删除行为）。
编制大数据平台各组件运维标准文档（如Kafka版本升级操作指南、磁盘故障应对方案）。
技术要求
硬性条件
精通以下至少两类组件的运维能力：
存储层：HDFS/Ceph/Alluxio
计算层：YARN/Spark/Flink
消息层：Kafka/Pulsar
调度层：Airflow/DolphinScheduler
熟练运用运维核心工具链：
监控：Prometheus/Zabbix+Grafana
部署：Ansible/SaltStack+Kubernetes
日志：ELK/ClickHouse
具备复杂问题诊断能力（如ZooKeeper脑裂、HDFSBlock丢失、KafkaISR频繁波动等）。
优先考虑
主导完成过PB级集群迁移或升级项目（如Hadoop2.x升级至3.x）；
拥有多个租户环境下资源隔离实践经验（YARN队列配额控制、Kafka流量限制）；
熟悉云原生架构，具备K8S实际使用经验者优先；
有AI大模型相关技术支持经验者优先；
具备运维团队管理经历者优先。
团队协作要求
以数据支撑决策：例如基于集群QPS与延迟统计报告，推动开发侧优化Shuffle执行逻辑；
注重知识沉淀：每解决一次线上问题，输出一篇完整的故障分析复盘文档；
具备DevOps理念：推动CI/CD在数据任务发布中的落地应用（如SparkJar包自动化测试流程建设）。
福利待遇
工作保障：
全额缴纳社保及公积金
生活关怀：
提供免费午餐和晚餐
发放生日礼品
集群治理
熟练掌握Hadoop生态系统的运维工作，保障YARN、Spark、Flink、Kafka等核心组件集群的高可用性，具备独立排查并处理各类生产环境问题的能力。
性能优化与成本管控
通过资源调度策略优化（如YARNCapacityScheduler、K8SHPA）及数据倾斜问题治理，持续提升任务运行效率。
构建集群资源使用模型，识别低效节点，推进资源利用效率的整体提升。
全链路监控与应急响应
搭建三层监控架构（硬件层→服务层→业务层），结合Prometheus与Alertmanager实现5分钟内异常发现。
主导P1级别故障处置，制定标准化应急流程（Runbook），推动关键场景自动切换机制落地（如HDFSNameNode主备快速切换）。
安全与规范
实施Kerberos身份认证与Ranger权限管理策略，对高风险操作进行审计追踪（如敏感HDFS文件删除行为）。
编制大数据平台各组件运维标准文档（如Kafka版本升级操作指南、磁盘故障应对方案）。
技术要求
硬性条件
精通以下至少两类组件的运维能力：
存储层：HDFS/Ceph/Alluxio
计算层：YARN/Spark/Flink
消息层：Kafka/Pulsar
调度层：Airflow/DolphinScheduler
熟练运用运维核心工具链：
监控：Prometheus/Zabbix+Grafana
部署：Ansible/SaltStack+Kubernetes
日志：ELK/ClickHouse
具备复杂问题诊断能力（如ZooKeeper脑裂、HDFSBlock丢失、KafkaISR频繁波动等）。
优先考虑
主导完成过PB级集群迁移或升级项目（如Hadoop2.x升级至3.x）；
拥有多个租户环境下资源隔离实践经验（YARN队列配额控制、Kafka流量限制）；
熟悉云原生架构，具备K8S实际使用经验者优先；
有AI大模型相关技术支持经验者优先；
具备运维团队管理经历者优先。
团队协作要求
以数据支撑决策：例如基于集群QPS与延迟统计报告，推动开发侧优化Shuffle执行逻辑；
注重知识沉淀：每解决一次线上问题，输出一篇完整的故障分析复盘文档；
具备DevOps理念：推动CI/CD在数据任务发布中的落地应用（如SparkJar包自动化测试流程建设）。
福利待遇
工作保障：
全额缴纳社保及公积金
生活关怀：
提供免费午餐和晚餐
发放生日礼品
2026-01-15 14:26
IP属地：江苏南京
职位福利
本科5-10年大数据运维经验
奇瑞汽车股份有限公司
不需要融资 · 10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
1-1.5万/月
运维工程师3-5年本科运维开发PythonJavaGoLangJenkinsPrometheusDEVOPSRedisKAFAKADocker
南京 栖霞区
9千-1.2万/月
运维工程师3-5年本科网络运维脚本通信相关专业DockerSquid系统运维Python/Shell计算机相关专业电子/电气/自动化相关专业运维经验
南京 栖霞区
收藏职位
