大数据开发工程师-数据平台

1.4-1.6万/月

成都·武侯区

吕先生

已实名

企业认证

北京联和利泰科技股份有限公司

职位详情

数据开发

任职要求
硬性条件：
本科及以上学历

核心技能
具备大数据组件源码级别开发经验（需熟练掌握以下2-3项）：
Spark：深入理解Spark Core/SQL 执行引擎、内存管理、任务调度等核心模块的底层实现
Hive：掌握Hive SQL 解析流程、执行计划优化策略（如CBO）、MetaStore 机制等关键技术
Trino/Presto：熟悉分布式查询架构、Connector 开发及执行层优化能力（如动态过滤机制）
Ranger：了解权限管理体系、策略引擎工作原理，具备插件扩展开发经验
Doris：熟悉MPP 架构、列式存储格式、查询优化器的设计与实现

编程能力：
熟练掌握 Java/Scala，具备高并发、高性能系统开发实践经验
具备 Python 编程能力（用于脚本或工具开发）者更佳
深刻理解分布式计算模型（MapReduce/DAG）、分布式存储系统（HDFS/S3）以及资源调度框架（YARN/K8s）
熟悉主流大数据生态组件，如 Flink、Kafka、HBase、ClickHouse 等

性能优化能力：
能够通过JVM调优、SQL语句优化、并行处理策略调整等方式提升系统性能
熟练运用各类性能分析工具（如 Arthas、Async Profiler、JMX）定位系统瓶颈

加分项：
有开源社区参与经历（如提交PR、修复Issue、担任Committer等）
具备PB级数据规模集群的运维与调优实战经验
了解云原生大数据技术架构（如 Spark on K8s、存算分离方案）
在技术社区发表过博客、论文，或组织主导过内部技术分享活动

软性要求：
对技术有强烈热情，能主动跟进大数据领域最新发展趋势
具备出色的故障排查能力，善于应对复杂生产环境问题
具备良好的团队合作意识和跨团队沟通协调能力

工作地点首选成都和北京

2026-10-10 14:58

IP属地：四川成都

职位福利

本科5-10年Java要求数据开发经验电商/零售行业经验非外包类制造业行业经验Spark数据平台开发经验Flink