职位详情
岗位职责
1、参与大数据平台与后端系统的技术架构设计、编码实现及日常维护,保障大规模数据处理的稳定性与效率。
2、承担数据接入、清洗转换、持久化存储、分布式计算等关键模块的开发任务,持续优化实时与离线数据处理流程性能。
3、基于Hadoop、Spark、Flink等技术栈搭建具备高可用性与弹性扩展能力的分布式数据服务平台。
4、结合业务场景需求,完成数据模型构建、数仓分层设计以及对外数据接口的开发,支撑数据分析与可视化应用。
5、攻关大数据应用中的典型技术挑战,包括但不限于数据倾斜、系统瓶颈、故障恢复与备份机制。
6、协同数据产品团队与研发同事,推进数据产品的迭代与上线落地。
任职要求
技术基础:
1、熟练掌握Java语言,了解多线程、IO操作与网络通信机制,具备扎实的JVM底层原理认知。
2、具备3年以上大数据领域后端开发经历,熟悉Hadoop体系(HDFS/YARN/MapReduce)及Spark运行机制。
3、理解分布式架构设计原则,能熟练运用并调优Zookeeper、Redis等中间件服务。
4、熟练操作HBase、Hive、Kafka、Flume、minio等主流大数据组件,并有实际部署和运维经验。
数据库与工具:
5、掌握关系型数据库(如MySQL/Oracle)及NoSQL数据库(如MongoDB/ClickHouse)的使用与优化。
6、了解数据仓库建模方法(如维度建模、分层结构)及ETL工具的应用实践。
工程能力:
7、熟悉Linux操作系统环境,能够使用Shell或Python编写自动化运维脚本。
8、掌握Git、Maven等项目管理与构建工具,了解CI/CD流水线及DevOps工作模式。
加分项:
9、了解实时流式计算框架(如Flink/Storm)和OLAP查询引擎(如Druid/Kylin)。
具备容器化技术(Docker/K8s)或公有云平台(AWS/Azure/GCP)上的大数据项目实践经验。
10、了解数据治理体系,包含元数据管理、数据安全策略、资源调度与分配机制等相关技术。
1、参与大数据平台与后端系统的技术架构设计、编码实现及日常维护,保障大规模数据处理的稳定性与效率。
2、承担数据接入、清洗转换、持久化存储、分布式计算等关键模块的开发任务,持续优化实时与离线数据处理流程性能。
3、基于Hadoop、Spark、Flink等技术栈搭建具备高可用性与弹性扩展能力的分布式数据服务平台。
4、结合业务场景需求,完成数据模型构建、数仓分层设计以及对外数据接口的开发,支撑数据分析与可视化应用。
5、攻关大数据应用中的典型技术挑战,包括但不限于数据倾斜、系统瓶颈、故障恢复与备份机制。
6、协同数据产品团队与研发同事,推进数据产品的迭代与上线落地。
任职要求
技术基础:
1、熟练掌握Java语言,了解多线程、IO操作与网络通信机制,具备扎实的JVM底层原理认知。
2、具备3年以上大数据领域后端开发经历,熟悉Hadoop体系(HDFS/YARN/MapReduce)及Spark运行机制。
3、理解分布式架构设计原则,能熟练运用并调优Zookeeper、Redis等中间件服务。
4、熟练操作HBase、Hive、Kafka、Flume、minio等主流大数据组件,并有实际部署和运维经验。
数据库与工具:
5、掌握关系型数据库(如MySQL/Oracle)及NoSQL数据库(如MongoDB/ClickHouse)的使用与优化。
6、了解数据仓库建模方法(如维度建模、分层结构)及ETL工具的应用实践。
工程能力:
7、熟悉Linux操作系统环境,能够使用Shell或Python编写自动化运维脚本。
8、掌握Git、Maven等项目管理与构建工具,了解CI/CD流水线及DevOps工作模式。
加分项:
9、了解实时流式计算框架(如Flink/Storm)和OLAP查询引擎(如Druid/Kylin)。
具备容器化技术(Docker/K8s)或公有云平台(AWS/Azure/GCP)上的大数据项目实践经验。
10、了解数据治理体系,包含元数据管理、数据安全策略、资源调度与分配机制等相关技术。
2026-07-24 12:39
IP属地:北京
职位福利
本科3-5年要求数据开发经验Spark原理/源码Flink原理/源码数据建模经验KafkaMySQL/SQL Server实时数仓开发经验FlinkHive原理/源码数据仓库开发经验Postg

北京航云科创科技有限公司
20-99人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
数据开发
1.3-1.8万元/月
数据开发5-10年本科MaxCompute要求数据开发经验保险人寿Flink金融行业经验DataWorksSQLHiveSpark数据仓库开发经验Oracle
北京 海淀区
数据开发与SQL编程
1.5-1.6万元/月
数据开发3-5年本科要求数据开发经验ETL开发经验BI报表开发经验MySQL/SQL Server数据平台开发经验OracleSQL
北京 海淀区
大数据开发工程师
1.6-2.1万元/月
数据开发3-5年本科Java要求数据开发经验ETL开发经验数据建模经验Hadoop实时数仓开发经验Oracle原理/源码计算机相关专业数据平台开发经验Flink金融行业经验SQL数据库内核开发经验
北京 海淀区
大数据处理工程师
1.5-2.5万元/月
数据开发3-5年本科要求数据开发经验ElasticsearchClickhouseBI报表开发经验非外包类数据平台开发经验Python
北京 海淀区
大数据研发工程师
1-1.2万元/月
数据开发1年以下本科ETL数据仓库数据建模JavaPythonScalaHadoopSpark大数据平台运维业务数据支撑跨团队协作
北京 海淀区
hadoop大数据开发工程师
1.8-2.3万元/月
数据开发5-10年本科JavaShellClickhouse原理/源码要求数据开发经验Spark原理/源码大数据引擎开发经验Flink原理/源码金融行业经验SQL
北京 海淀区








