搜索
登录注册

职位详情

【岗位职责】
大数据工程师 岗位定位:数据湖与数仓体系的核心构建者,承担多源异构数据接入、ETL流程开发、数据仓库建模、数据清洗及实体对齐等数据准备工作,为知识图谱与AI应用落地提供高可靠、高质量的数据支撑。

职责范围:
- 设计并搭建企业级数据湖/数仓分层架构(涵盖ODS、DWD、DWS、ADS各层)
- 构建多系统数据接入通道(对接ERP、MES、HR、CRM等系统,支持CDC与批量模式)
- 开发离线批处理任务(基于Spark与Hive),实现数仓分层建设与图谱所需数据预处理
- 制定并实施数据清洗逻辑,推进跨系统数据标准化与实体统一(包括ID映射、异常数据识别与修复)
- 推进数据质量管理体系落地,实现数据血缘追踪及数据标准文档的持续维护
- 负责数据湖存储层技术选型与管理(Iceberg / Hudi / Delta Lake 等)

任职要求
必须具备:
- 3年以上大数据平台开发经验
- 熟练掌握Spark技术栈(精通Spark SQL与Spark Streaming)
- 深度使用Hive进行离线数仓建设(熟悉HQL优化、执行计划调优)
- 具备完整的数仓建模能力(熟悉Kimball维度建模方法论,有分层设计实战经验)
- 精通SQL(能编写复杂查询、熟练使用窗口函数,具备性能调优能力)

优先考虑:
- 熟悉主流数据湖技术(至少掌握Iceberg、Hudi或Delta Lake其中一种)
- 有多种数据源接入实践经验(如CDC工具Canal、Debezium、DataX等)
- 具备跨系统数据一致性处理或主数据管理(MDM)背景
- 了解数据质量治理框架并有实际落地方案经验
- 使用过数据血缘分析工具并推动元数据管理落地

加分项:
- 具备Flink实时计算开发经验
- 有ClickHouse使用与调优经历
- 接触过时序数据库(如IoTDB、TDengine)
- 参与过制造业领域数据仓库建设项目
- 熟悉任务调度系统(Airflow、DolphinScheduler等)

5.5天工作制,包吃住
办公地址:江西省九江市修水
2026-07-26 14:49
IP属地:湖北武汉

职位福利

本科3-5年数仓开发数据建模数据采集数据治理数据清洗Spark sqlFlink sqlFlinkSparkHadoopAPACHE ICEBERG
企业发布信息图
江西模界荣耀科技平台有限公司
1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

数据开发工程师(急聘+双休)
1-1.4万元/月
数据开发3-5年本科要求数据开发经验Kafka其他数据平台开发经验SQL
武汉 江岸区
数据开发
1.2-1.5万元/月
数据开发3-5年本科Hive要求数据开发经验ScalaETL开发经验实时数仓开发经验Spark数据平台开发经验Flink数据治理经验金融行业经验SQL
武汉
数据开发(双休+五险一金)
1.1-1.3万元/月
数据开发3-5年本科要求数据开发经验其他数据开发经验其他
武汉 江岸区
数据开发(应届生)(J15419)
4000-6000元/月
数据开发1年以下本科数据架构ETL数据仓库SqlHadoop
武汉 江夏区
中高级数据开发工程师
1.1-1.6万元/月
数据开发经验不限本科PostgreSQL原理/源码要求数据开发经验ETL开发经验数据建模经验实时数仓开发经验Oracle原理/源码数据平台开发经验SQL数据库内核开发经验HiveMySQL原理/源码
武汉 江岸区
数据开发工程师
1.1-1.3万元/月
数据开发3-5年本科数仓搭建要求数据开发经验银行ETL开发经验PostgreSQL数据建模经验Kafka实时数仓开发经验其他计算机相关专业数据平台开发经验金融行业经验HiveMPP数据库Cli
武汉
大数据开发工程师
1.2-1.3万元/月
数据开发3-5年本科JavaHive要求数据开发经验Kafka计算机相关专业Spark数据平台开发经验Flink金融行业经验
武汉
数据开发工程师
1.3-1.4万元/月
数据开发3-5年本科数据平台数据库开发
武汉 武昌区
高级大数据开发工程师
1.3-1.5万元/月
数据开发3-5年本科Java证券/基金要求数据开发经验MySQL/SQL Server数据仓库开发经验数据治理经验金融行业经验Python
武汉 洪山区