松江区
职位详情
湖仓一体大数据平台运维：
1）掌握湖仓一体大数据平台核心组件（如Hadoop、Spark、Hive、HBase、ClickHouse、Flink）的部署与运维技能，能够熟练采用非容器化方式完成各组件的安装配置、性能调优及集群规模动态调整，保障数据存储与计算体系的高可用与稳定运行；
2）擅长在湖仓融合架构中进行故障诊断，可快速识别并处理组件启动异常、数据读写错误、任务执行阻塞等问题（如HDFS块缺失、YARN资源争用），结合日志追踪与监控工具（如Ganglia、Prometheus）实现高效排障，确保数据链路连续性与服务稳定性；参与湖仓平台数据流转方案设计，熟悉数据从采集（Flume、Kafka）、存储（HDFS）、处理（Spark/Flink）至查询分析（Presto）的端到端运维流程，能协同业务方推进数据处理效率优化，持续提升平台整体性能表现。
1）掌握湖仓一体大数据平台核心组件（如Hadoop、Spark、Hive、HBase、ClickHouse、Flink）的部署与运维技能，能够熟练采用非容器化方式完成各组件的安装配置、性能调优及集群规模动态调整，保障数据存储与计算体系的高可用与稳定运行；
2）擅长在湖仓融合架构中进行故障诊断，可快速识别并处理组件启动异常、数据读写错误、任务执行阻塞等问题（如HDFS块缺失、YARN资源争用），结合日志追踪与监控工具（如Ganglia、Prometheus）实现高效排障，确保数据链路连续性与服务稳定性；参与湖仓平台数据流转方案设计，熟悉数据从采集（Flume、Kafka）、存储（HDFS）、处理（Spark/Flink）至查询分析（Presto）的端到端运维流程，能协同业务方推进数据处理效率优化，持续提升平台整体性能表现。
2026-05-20 13:30
IP属地：上海
职位福利
学历不限5-10年HDFSFlinkSpark大数据运维DORISKafka
江苏苍龙琪信息技术有限公司
0-20人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
运维工程师
1.2-2.2万元/月
运维工程师5-10年本科网络运维大数据运维经验HDFS、Flink、Spark计算机相关专业网络安全相关经验运维经验
上海 松江区
李先生 · 江苏苍龙琪信息技术5日内活跃
收藏职位
