大数据开发工程师

6000-10000元/月

太原·小店区

张女士

已实名

企业认证

山西智杰软件工程有限公司

职位详情

数据开发

岗位职责：
1. 数据仓库建设：具备扎实的数据仓库构建能力，熟悉数据建模、ETL流程的设计与开发工作。
2. 核心业务开发：主导大数据项目中核心模块的架构设计与编码实现，保障系统稳定运行与高效处理能力。
3. 技术探索与创新：参与大数据领域前沿技术的研究与验证，为业务发展提供技术支撑，推动技术迭代升级。
4. 数据采集与同步：通过Dinky平台编写FlinkSQL任务消费Kafka中的用户行为日志，并将数据写入Doris、Paimon、Hudi及Iceberg的ODS层；使用DolphinScheduler调度SeaTunnel作业，完成MySQL业务数据向Doris ODS层的同步。
5. 数仓架构规划：采用ODS（操作数据存储）→ DWD（明细数据层）/ DIM（维度层）→ DWS（汇总服务层）→ ADS（应用数据层）的四层架构体系，保障数据在Doris、Paimon、Hudi和Iceberg中的分层流转与统一管理。
6. 数据展示与呈现：运用大屏可视化工具及报表系统，对ADS层和DWS层关键指标进行报表制作与动态展示，辅助决策分析。

任职要求：
1. 学历要求：本科及以上学历，计算机、软件工程、数学等相关专业，具有3年以上大数据开发相关经验。
2. 编程能力：熟练掌握Java语言，熟悉Linux操作系统及常用命令，具备Shell脚本编写能力，拥有良好的独立开发习惯和规范的编码风格。
3. 大数据技术栈：有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等技术的实际开发、架构设计与性能调优经验，深入理解大数据平台底层原理。
4. 流式计算框架：熟悉Spark或Flink技术栈，对Flink或Spark的运行机制和底层架构有深入认知。
5. ETL与建模经验：精通数据仓库ETL流程与数据建模方法，具备大型数仓的整体架构设计、模型构建及性能优化实践经验。

2026-06-16 12:15

IP属地：山西太原

职位福利

本科3-5年Java要求数据开发经验数据建模经验非外包类数据仓库开发经验Oracle