职位详情
【岗位职责】
数据湖与数仓体系的核心构建者,承担多源数据集成、ETL流程开发、数仓模型设计、数据清洗及实体对齐等数据准备工作,为知识图谱与AI应用提供高可靠数据支撑。
- 主导集团级数据湖/数仓架构设计与实施(涵盖ODS、DWD、DWS、ADS分层结构)
- 构建多系统数据接入通道(覆盖ERP、MES、HR、CRM等系统,支持CDC与批量模式)
- 开发离线计算任务(基于Spark + Hive),支撑数仓分层建设与图谱所需数据预处理
- 设计并实现数据清洗逻辑,推进跨系统数据标准化与实体统一(包括ID映射、异常数据识别与处理)
- 落实数据质量管控机制,建立数据血缘追踪能力,维护数据标准文档体系
- 负责数据湖存储层管理与优化(Iceberg / Hudi / Delta Lake 技术选型与运维)
任职要求
必须具备:
- 3年以上大数据开发经验
- 熟练掌握Spark技术栈(精通Spark SQL与Spark Streaming)
- 深入使用Hive进行离线数仓建设(熟悉HQL优化与执行引擎调优)
- 具备完整的数仓建模实战经验(熟悉Kimball维度建模方法,有分层建模落地案例)
- 精通SQL(能编写复杂查询、熟练运用窗口函数并具备性能调优能力)
强烈偏好:
- 掌握至少一种数据湖技术(Iceberg、Hudi或Delta Lake)
- 具备多源异构系统数据接入经验(如CDC工具:Canal、Debezium或DataX)
- 有跨系统数据对齐或主数据管理(MDM)项目经验
- 熟悉数据质量治理体系及相关实践
- 使用过数据血缘追踪相关工具
加分项:
- 具备Flink实时计算开发经验
- 有ClickHouse使用背景
- 熟悉时序数据库(如IoTDB、TDengine)
- 参与过制造业领域数仓建设项目
- 熟练使用任务调度平台(Airflow、DolphinScheduler)
5.5天工作制,包吃住
办公地址:江西省九江市修水
数据湖与数仓体系的核心构建者,承担多源数据集成、ETL流程开发、数仓模型设计、数据清洗及实体对齐等数据准备工作,为知识图谱与AI应用提供高可靠数据支撑。
- 主导集团级数据湖/数仓架构设计与实施(涵盖ODS、DWD、DWS、ADS分层结构)
- 构建多系统数据接入通道(覆盖ERP、MES、HR、CRM等系统,支持CDC与批量模式)
- 开发离线计算任务(基于Spark + Hive),支撑数仓分层建设与图谱所需数据预处理
- 设计并实现数据清洗逻辑,推进跨系统数据标准化与实体统一(包括ID映射、异常数据识别与处理)
- 落实数据质量管控机制,建立数据血缘追踪能力,维护数据标准文档体系
- 负责数据湖存储层管理与优化(Iceberg / Hudi / Delta Lake 技术选型与运维)
任职要求
必须具备:
- 3年以上大数据开发经验
- 熟练掌握Spark技术栈(精通Spark SQL与Spark Streaming)
- 深入使用Hive进行离线数仓建设(熟悉HQL优化与执行引擎调优)
- 具备完整的数仓建模实战经验(熟悉Kimball维度建模方法,有分层建模落地案例)
- 精通SQL(能编写复杂查询、熟练运用窗口函数并具备性能调优能力)
强烈偏好:
- 掌握至少一种数据湖技术(Iceberg、Hudi或Delta Lake)
- 具备多源异构系统数据接入经验(如CDC工具:Canal、Debezium或DataX)
- 有跨系统数据对齐或主数据管理(MDM)项目经验
- 熟悉数据质量治理体系及相关实践
- 使用过数据血缘追踪相关工具
加分项:
- 具备Flink实时计算开发经验
- 有ClickHouse使用背景
- 熟悉时序数据库(如IoTDB、TDengine)
- 参与过制造业领域数仓建设项目
- 熟练使用任务调度平台(Airflow、DolphinScheduler)
5.5天工作制,包吃住
办公地址:江西省九江市修水
2026-06-11 13:12
IP属地:湖南长沙
职位福利
本科1-3年数仓开发数据建模数据采集数据清洗数据治理FlinkSparkHadoopAPACHE ICEBERHUDI DELTA LAKE

江西模界荣耀科技平台有限公司
1000-9999人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
数据开发(掌握Java,证券行业周末双休)
1.1-1.3万元/月
数据开发5-10年大专JavaShell要求数据开发经验ETL开发经验KafkaMySQL/SQL ServerBI报表开发经验Spark数据平台开发经验Flink金融行业经验SQL
长沙 岳麓区
大数据研发工程师
1.5-2.5万元/月
数据开发1-3年本科要求数据开发经验数据建模经验Kafka非外包类计算机相关专业Spark数据平台开发经验Flink数学/统计相关专业PythonSQL
长沙 开福区
数据开发工程师(银行现场)
1-1.3万元/月
数据开发3-5年本科Hive要求数据开发经验ETL开发经验数据建模经验实时数仓开发经验Spark计算机相关专业数据平台开发经验数据仓库开发经验数据治理经验SQL
长沙 岳麓区
大数据开发工程师
1.5-2.5万元/月
数据开发1-3年本科要求数据开发经验数据建模经验Kafka非外包类计算机相关专业Spark数据平台开发经验Flink数学/统计相关专业PythonSQL
长沙







