职位详情
岗位职责:
1、负责大数据应用开发平台湖仓一体化架构的升级、开发与运维优化,打造高可用、高扩展性的数据采集、存储与计算体系,满足海量数据实时及离线处理需求;
2、主导数据模型设计与持续优化,基于Flink构建并迭代ETL/ELT数据流程,结合Paimon实现数据清洗、转换与加载全链路管理,依托Doris支撑高效查询分析;提升系统性能,攻克高并发写入、跨引擎查询、数据分层建设、数据一致性等关键技术难题;参与数据治理实践,协助制定数据规范、质量监控机制与安全管控策略,确保数据准确可靠;
3、关注Paimon、Flink、Doris等技术方向的发展动态,评估并引入适用的新工具与方案,推动平台架构持续演进;协同产品、数据分析、运维等团队深度合作,促进数据在业务场景中的落地与价值释放;
4、配合推进各类研发项目的实施与验收工作。
任职要求:
1、熟练掌握大数据技术生态,精通Flink计算框架,熟悉Paimon\Iceberg\Hudi\Delta Lake等湖仓存储引擎及Doris OLAP分析工具,深入理解流批一体架构的核心机制与实际应用;熟练使用Java、Python、Scala编程语言,精通SQL,了解Linux系统及Shell脚本编写;
2、具备数据建模、ETL开发与数据治理实践经验,能独立应对流批一体架构中的复杂技术挑战;了解存算分离架构、云原生技术(如K8s)者优先,具备良好的沟通协作能力与自主学习意识;
3、统招本科及以上学历,拥有5年以上湖仓一体相关领域开发经验;
1、负责大数据应用开发平台湖仓一体化架构的升级、开发与运维优化,打造高可用、高扩展性的数据采集、存储与计算体系,满足海量数据实时及离线处理需求;
2、主导数据模型设计与持续优化,基于Flink构建并迭代ETL/ELT数据流程,结合Paimon实现数据清洗、转换与加载全链路管理,依托Doris支撑高效查询分析;提升系统性能,攻克高并发写入、跨引擎查询、数据分层建设、数据一致性等关键技术难题;参与数据治理实践,协助制定数据规范、质量监控机制与安全管控策略,确保数据准确可靠;
3、关注Paimon、Flink、Doris等技术方向的发展动态,评估并引入适用的新工具与方案,推动平台架构持续演进;协同产品、数据分析、运维等团队深度合作,促进数据在业务场景中的落地与价值释放;
4、配合推进各类研发项目的实施与验收工作。
任职要求:
1、熟练掌握大数据技术生态,精通Flink计算框架,熟悉Paimon\Iceberg\Hudi\Delta Lake等湖仓存储引擎及Doris OLAP分析工具,深入理解流批一体架构的核心机制与实际应用;熟练使用Java、Python、Scala编程语言,精通SQL,了解Linux系统及Shell脚本编写;
2、具备数据建模、ETL开发与数据治理实践经验,能独立应对流批一体架构中的复杂技术挑战;了解存算分离架构、云原生技术(如K8s)者优先,具备良好的沟通协作能力与自主学习意识;
3、统招本科及以上学历,拥有5年以上湖仓一体相关领域开发经验;
2026-06-22 13:43
IP属地:湖南长沙
职位福利
本科5-10年湖仓一体、数据湖、实时计算

万达信息股份有限公司
已上市 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
大数据开发工程师
1.5-2.5万元/月
数据开发1-3年本科要求数据开发经验数据建模经验Kafka非外包类计算机相关专业Spark数据平台开发经验Flink数学/统计相关专业PythonSQL
长沙
大数据研发工程师
1.5-2.5万元/月
数据开发1-3年本科要求数据开发经验数据建模经验Kafka非外包类计算机相关专业Spark数据平台开发经验Flink数学/统计相关专业PythonSQL
长沙 开福区
数据开发工程师(银行现场)
1-1.3万元/月
数据开发3-5年本科Hive要求数据开发经验ETL开发经验数据建模经验实时数仓开发经验Spark计算机相关专业数据平台开发经验数据仓库开发经验数据治理经验SQL
长沙 岳麓区







