大数据开发工程师（Java技术）

1.5-2.2万/月

海淀区

刘女士

已实名

企业认证

北京航云科创科技有限公司

职位详情

数据开发

岗位职责
1、参与大数据平台与后端系统的技术架构设计、编码实现及日常维护，保障大规模数据处理的稳定性与效率。
2、承担数据接入、清洗转换、持久化存储、分布式计算等关键模块的开发任务，持续优化实时与离线数据处理流程性能。
3、基于Hadoop、Spark、Flink等技术栈搭建具备高可用性与弹性扩展能力的分布式数据服务平台。
4、结合业务场景需求，完成数据模型构建、数仓分层设计以及对外数据接口的开发，支撑数据分析与可视化应用。
5、攻关大数据应用中的典型技术挑战，包括但不限于数据倾斜、系统瓶颈、故障恢复与备份机制。
6、协同数据产品团队与研发同事，推进数据产品的迭代与上线落地。

任职要求
技术基础：
1、熟练掌握Java语言，了解多线程、IO操作与网络通信机制，具备扎实的JVM底层原理认知。
2、具备3年以上大数据领域后端开发经历，熟悉Hadoop体系（HDFS/YARN/MapReduce）及Spark运行机制。
3、理解分布式架构设计原则，能熟练运用并调优Zookeeper、Redis等中间件服务。
4、熟练操作HBase、Hive、Kafka、Flume、minio等主流大数据组件，并有实际部署和运维经验。

数据库与工具：
5、掌握关系型数据库（如MySQL/Oracle）及NoSQL数据库（如MongoDB/ClickHouse）的使用与优化。
6、了解数据仓库建模方法（如维度建模、分层结构）及ETL工具的应用实践。

工程能力：
7、熟悉Linux操作系统环境，能够使用Shell或Python编写自动化运维脚本。
8、掌握Git、Maven等项目管理与构建工具，了解CI/CD流水线及DevOps工作模式。

加分项：
9、了解实时流式计算框架（如Flink/Storm）和OLAP查询引擎（如Druid/Kylin）。
具备容器化技术（Docker/K8s）或公有云平台（AWS/Azure/GCP）上的大数据项目实践经验。
10、了解数据治理体系，包含元数据管理、数据安全策略、资源调度与分配机制等相关技术。

2026-10-27 12:54

IP属地：北京

职位福利

本科3-5年要求数据开发经验Spark原理/源码Flink原理/源码数据建模经验KafkaMySQL/SQL Server实时数仓开发经验FlinkHive原理/源码数据仓库开发经验Postg