职位详情
岗位职责:
1. 数据仓库建设:具备扎实的数据仓库构建能力,熟悉数据建模、ETL流程的设计与开发工作。
2. 核心业务开发:主导大数据项目中核心模块的架构设计与编码实现,保障系统稳定运行与高效处理能力。
3. 技术探索与创新:参与大数据领域前沿技术的研究与验证,为业务发展提供技术支撑,推动技术迭代升级。
4. 数据采集与同步:通过Dinky平台编写FlinkSQL任务消费Kafka中的用户行为日志,并将数据写入Doris、Paimon、Hudi及Iceberg的ODS层;使用DolphinScheduler调度SeaTunnel作业,完成MySQL业务数据向Doris ODS层的同步。
5. 数仓架构规划:采用ODS(操作数据存储)→ DWD(明细数据层)/ DIM(维度层)→ DWS(汇总服务层)→ ADS(应用数据层)的四层架构体系,保障数据在Doris、Paimon、Hudi和Iceberg中的分层流转与统一管理。
6. 数据展示与呈现:运用大屏可视化工具及报表系统,对ADS层和DWS层关键指标进行报表制作与动态展示,辅助决策分析。
任职要求:
1. 学历要求:本科及以上学历,计算机、软件工程、数学等相关专业,具有3年以上大数据开发相关经验。
2. 编程能力:熟练掌握Java语言,熟悉Linux操作系统及常用命令,具备Shell脚本编写能力,拥有良好的独立开发习惯和规范的编码风格。
3. 大数据技术栈:有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等技术的实际开发、架构设计与性能调优经验,深入理解大数据平台底层原理。
4. 流式计算框架:熟悉Spark或Flink技术栈,对Flink或Spark的运行机制和底层架构有深入认知。
5. ETL与建模经验:精通数据仓库ETL流程与数据建模方法,具备大型数仓的整体架构设计、模型构建及性能优化实践经验。
1. 数据仓库建设:具备扎实的数据仓库构建能力,熟悉数据建模、ETL流程的设计与开发工作。
2. 核心业务开发:主导大数据项目中核心模块的架构设计与编码实现,保障系统稳定运行与高效处理能力。
3. 技术探索与创新:参与大数据领域前沿技术的研究与验证,为业务发展提供技术支撑,推动技术迭代升级。
4. 数据采集与同步:通过Dinky平台编写FlinkSQL任务消费Kafka中的用户行为日志,并将数据写入Doris、Paimon、Hudi及Iceberg的ODS层;使用DolphinScheduler调度SeaTunnel作业,完成MySQL业务数据向Doris ODS层的同步。
5. 数仓架构规划:采用ODS(操作数据存储)→ DWD(明细数据层)/ DIM(维度层)→ DWS(汇总服务层)→ ADS(应用数据层)的四层架构体系,保障数据在Doris、Paimon、Hudi和Iceberg中的分层流转与统一管理。
6. 数据展示与呈现:运用大屏可视化工具及报表系统,对ADS层和DWS层关键指标进行报表制作与动态展示,辅助决策分析。
任职要求:
1. 学历要求:本科及以上学历,计算机、软件工程、数学等相关专业,具有3年以上大数据开发相关经验。
2. 编程能力:熟练掌握Java语言,熟悉Linux操作系统及常用命令,具备Shell脚本编写能力,拥有良好的独立开发习惯和规范的编码风格。
3. 大数据技术栈:有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等技术的实际开发、架构设计与性能调优经验,深入理解大数据平台底层原理。
4. 流式计算框架:熟悉Spark或Flink技术栈,对Flink或Spark的运行机制和底层架构有深入认知。
5. ETL与建模经验:精通数据仓库ETL流程与数据建模方法,具备大型数仓的整体架构设计、模型构建及性能优化实践经验。
2026-09-25 12:57
IP属地:山西太原
职位福利
本科3-5年Java要求数据开发经验数据建模经验非外包类数据仓库开发经验Oracle

山西智杰软件工程有限公司
B轮 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
6千-1万/月
数据开发1-3年本科要求数据开发经验PostgreSQLETL开发经验MySQL/SQL ServerHDFS非外包类计算机相关专业数据治理经验SQLHBaseShell数据仓库开发经验OraclePython数学/统计相关专业
太原
太原晋源区招腻子/大白/墙漆
200-300元/天
腻子工大白工1-2人
太原 晋源区2026年09月30日 11:43

先生
刚刚活跃需要填缝2位
抹灰1-2人日结
晋中 榆次区 迎宾街2026年09月30日 11:41

曹先生
刚刚活跃





