职位详情
岗位职责:
1、负责大数据平台的整体架构设计与核心开发工作;
2、开展数据仓库的搭建及性能优化;
3、基于Hadoop等大数据技术体系进行数据加工与分析处理;
4、开发MapReduce程序及Spark相关作业任务;
5、参与数据挖掘类项目的研发与落地实施。
任职要求:
1.表达流畅,逻辑思维能力强。
2.掌握大数据生态相关技术栈
*分布式计算框架:Hadoop、Spark、Flink(需理解底层原理,具备调优与故障排查能力)。
*数据处理工具:Hive、Pig、SparkSQL、FlinkSQL等。
*实时与离线数据湖架构:了解Lambda/Kappa架构,熟悉分层建模方法(ODS/DWD/DWS/ADS)。
*消息中间件:Kafka、Pulsar、RocketMQ等(需具备消息积压、顺序消费等典型场景的应对经验)。
3.数据存储与查询能力
*熟悉主流分布式存储系统(HDFS、HBase、Cassandra)。
*掌握列式存储格式(Parquet/ORC),了解OLAP引擎(ClickHouse/Doris/Presto)
4.数据治理与质量保障
*具备数据清洗、去重及数据一致性校验的实际项目经验。
1、负责大数据平台的整体架构设计与核心开发工作;
2、开展数据仓库的搭建及性能优化;
3、基于Hadoop等大数据技术体系进行数据加工与分析处理;
4、开发MapReduce程序及Spark相关作业任务;
5、参与数据挖掘类项目的研发与落地实施。
任职要求:
1.表达流畅,逻辑思维能力强。
2.掌握大数据生态相关技术栈
*分布式计算框架:Hadoop、Spark、Flink(需理解底层原理,具备调优与故障排查能力)。
*数据处理工具:Hive、Pig、SparkSQL、FlinkSQL等。
*实时与离线数据湖架构:了解Lambda/Kappa架构,熟悉分层建模方法(ODS/DWD/DWS/ADS)。
*消息中间件:Kafka、Pulsar、RocketMQ等(需具备消息积压、顺序消费等典型场景的应对经验)。
3.数据存储与查询能力
*熟悉主流分布式存储系统(HDFS、HBase、Cassandra)。
*掌握列式存储格式(Parquet/ORC),了解OLAP引擎(ClickHouse/Doris/Presto)
4.数据治理与质量保障
*具备数据清洗、去重及数据一致性校验的实际项目经验。
2026-08-10 14:45
IP属地:北京
职位福利
本科3-5年要求数据开发经验Spark原理/源码Flink原理/源码数据建模经验KafkaMySQL/SQL ServerShellHive原理/源码数据仓库开发经验OraclePython

中电金信软件有限公司
不需要融资 · 10000人以上

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
大数据(驻场中行学信网统招本)
1.4-2万元/月
数据开发5-10年本科要求数据开发经验Kafka原理/源码Spark原理/源码大数据引擎开发经验数据建模经验Kafka数据平台开发经验金融行业经验SQLHBaseHBase原理/源码ShellHiv
北京 朝阳区
高级大数据开发工程师
1.5-2.5万元/月
数据开发3-5年本科要求数据开发经验医疗行业经验数据建模经验Go非外包类实时数仓开发经验数据平台开发经验FlinkMapReduceShellHiveElasticsearchBI报表开发经验制
北京 朝阳区
数据开发主管
1.7-1.9万元/月
数据开发5-10年本科要求数据开发经验Spark原理/源码Scala大数据引擎开发经验计算机相关专业数据平台开发经验Flink金融行业经验SQLHiveHive原理/源码Spark数据仓库开发经验
北京 朝阳区
Flink 引擎技术专家
4.5-6.5万元/月
数据开发3-5年硕士Java要求数据开发经验Spark原理/源码ETL开发经验大数据引擎开发经验Flink原理/源码非外包类实时数仓开发经验其他计算机相关专业IcebergPythonPaimon
北京 朝阳区
数据开发主管
1.7-1.9万元/月
数据开发5-10年本科要求数据开发经验Spark原理/源码Scala大数据引擎开发经验计算机相关专业数据平台开发经验Flink金融行业经验SQLHiveHive原理/源码Spark数据仓库开发经验
北京 朝阳区
大数据开发工程师(北京)
1-1.5万元/月
数据开发1-3年本科Java实时经验要求数据开发经验ETL开发经验HadoopMySQL/SQL Server实时数仓开发经验数据平台开发经验Flink中台架构设计SQLShelllinuxSp
北京 朝阳区
阿里云-Flink执行引擎开发-北京/上
2.8-5.5万元/月
数据开发5-10年本科flinkJava要求数据开发经验Spark原理/源码Hive原理/源码大数据引擎开发经验Flink原理/源码非外包类其他大数据
北京 朝阳区









