大数据开发工程师（外派至联想）

1.1-1.6万元/月

海淀区

吕先生

已实名

企业认证

北京联和利泰科技股份有限公司

职位详情

数据开发

核心技能
具备大数据组件源码层级开发经验（需熟练掌握以下2-3项）：
Spark：深入理解Spark Core/SQL执行引擎、内存管理机制及任务调度模块的底层实现
Hive：掌握Hive SQL解析流程、执行计划优化策略（如基于成本的优化CBO）以及MetaStore核心架构
Trino/Presto：熟悉其分布式查询执行原理、Connector定制开发及性能优化技术（如动态过滤机制）
Ranger：了解权限管理体系、策略决策引擎及其插件化扩展机制的开发方式
Doris：掌握MPP计算模型、列式存储结构设计与查询优化器的具体实现

编程能力：
熟练掌握 Java/Scala，具备高并发、高性能系统编码实践经验
具备 Python 脚本或工具开发能力者更优
深刻理解分布式计算模型（MapReduce/DAG）、分布式存储系统（HDFS/S3）及资源调度框架（YARN/K8s）
熟悉主流大数据生态组件（Flink/Kafka/HBase/ClickHouse等）的使用与集成

性能优化经验：
能够通过JVM参数调优、SQL语句优化、并行度调整等方式提升系统运行效率
熟练运用各类性能分析工具（如Arthas/Async Profiler/JMX）定位系统瓶颈

加分项
有开源社区参与经历（如提交PR、修复Issue、担任Committer等）
具备PB级数据规模集群的实际调优与运维经验
了解云原生环境下大数据架构（如Spark on K8s、存算分离架构）
在技术社区发表过原创文章、论文或主导过内部/外部技术分享活动

软性要求
对技术有强烈热情，能持续关注并学习大数据领域最新发展趋势
具备出色的故障排查能力，善于应对复杂生产环境中的疑难问题
具备良好的团队合作意识及跨团队沟通协作能力

2026-08-20 15:04

IP属地：北京

职位福利

本科3-5年要求数据开发经验非外包类其他Spark数据平台开发经验源码