搜索
登录注册

职位详情

岗位职责:
1. 根据湖仓一体数据存算系统需求,参与大数据平台的整体架构规划,确保数据采集、存储、计算与治理各环节高效协同运作。
2. 负责大数据平台的运行监控与性能调优,保障湖仓存储系统及各类数据计算引擎的高可用与稳定运行。
3. 主导企业级数据仓库的设计与开发工作,开展大规模数据模型的构建与优化,实施ETL流程开发,满足数据加工系统的处理要求。
4. 参与大数据平台核心功能模块的研发,涵盖流式计算与批处理任务的实现,以及工作流调度管理相关功能的开发。
5. 跟进行业先进技术发展,攻关数据中台建设中的关键技术问题,推动湖仓融合存储方案的落地与优化应用。

任职要求:
1. 计算机或相关专业本科及以上学历,具备5年以上开发经验,其中3年以上专注于大数据领域开发工作。
深入理解数据计算、建模、治理、资产管理和安全体系,熟悉数据服务共享机制与全生命周期管理,有实际参与数据中台项目的经验。
2. 熟练掌握Hadoop、Spark、Hive、HBase、Flink等主流大数据技术栈,了解iceberg、doris等湖仓存储引擎,具备主导大型数据平台建设者优先考虑。
3. 精通SQL语言,熟练使用Oracle、PostgreSQL、MySQL中至少一种关系型数据库。
4. 熟练运用Java、Python进行程序开发,熟悉Linux操作系统环境。
5. 具备实时与离线数据处理能力,拥有数据建模、ETL设计与开发、数据治理体系实践经验,有指标体系建设与数据分析经验者优先。
6. 熟悉常见RDBMS(如MySQL、PGSQL),了解StarRocks、Doris、Clickhouse、GreenPlum等MPP架构的OLAP技术方案。
7. 掌握Hudi、doris的技术原理与系统架构,具备实际项目中的开发实践与性能调优经验。
8. 熟悉海豚调度平台,并具备Flink on K8s的资源调度与运维经验
2026-06-09 14:42
IP属地:上海

职位福利

本科3-5年ETL开发经验数据建模经验Spark要求有数仓开发经验Flink数据治理经验接受无实时数仓经验SQLPythonHBase
企业发布信息图
江苏苍龙琪信息技术有限公司
0-20人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

高级数据仓库工程师
1.5-2.5万元/月
数据仓库5-10年本科数据建模数仓开发数据采集ETL开发
上海 松江区
数据仓库
1.2-1.3万元/月
数据仓库3-5年大专
上海 嘉定区
数据仓库-金融-资产管理方向
1.2-1.6万元/月
数据仓库3-5年本科要求实时数仓经验JavaETL开发经验MySQL/SQL Server计算机相关专业金融行业经验SQLShellHiveBI报表开发经验SparkOracle要求有数仓开发经验
上海 浦东新区
智驾数据运维工程师(全额缴纳公积金)
1-1.2万元/月
数据仓库3-5年大专
上海 嘉定区
数据仓库开发工程师/资深专家
3-5.5万元/月
数据仓库3-5年本科要求实时数仓经验HiveETL开发经验数据建模经验电商/零售行业经验非外包类Spark要求有数仓开发经验Flink数据治理经验SQL
上海 徐汇区
数据开发工程师
4-6万元/月
数据仓库3-5年本科ETL开发经验数据建模经验非外包类其他SparkETL建模要求有数仓开发经验Flink接受无实时数仓经验数仓
上海 闵行区
先生 · 腾讯7日内活跃
高级数据仓库开发工程师
2.8-3.5万元/月
数据仓库5-10年本科要求实时数仓经验JavaDorisETL开发经验数据建模经验Kafka非外包类Flink数据治理经验SQLHivepaimonSpark要求有数仓开发经验Python
上海 浦东新区
智能湖仓开发工程师
3-6万元/月
数据仓库3-5年硕士接受无数仓开发经验数据湖开发存储引擎数据湖研发
上海 徐汇区
先生 · 腾讯7日内活跃
数据仓库工程师
2.5-3.5万元/月
数据仓库3-5年本科Airflow要求实时数仓经验Java数据建模经验非外包类计算机相关专业金融行业经验SQLHiveAzkabanSpark要求有数仓开发经验AWSPython数学/统计相关
上海 普陀区