职位详情
岗位职责:
1. 负责数据中台的整体架构规划与顶层设计,打造高可用、可扩展的原生数据平台,主导微服务架构的设计与性能优化,保障系统在高并发场景下的稳定运行与高效处理能力。
2. 参与或牵头完成数据采集、任务调度、元数据管理、数据质量监控、指标体系建设等核心模块的技术设计与开发工作,构建一体化的大数据开发平台。
3. 推进数据标准制定、数据模型设计及数据流转规范等治理工作,实现企业级数据资产的集中化管理与服务化共享,提升数据的一致性与可用水平。
4. 牵头解决复杂技术难题,持续优化大数据技术体系(如Hadoop、Spark、Flink、Kafka等),并与产品、前端及业务团队密切配合,确保数据产品的高质量交付。
5. 构建智能化、自动化程度高的数据处理流程,提升数据清洗、转换与调度的效率和可靠性,全面支持离线批处理与实时流式计算场景。
任职要求:
1. 了解制造业相关业务流程(包括生产制造、供应链、仓储物流、质量管理等),具备制造领域数据项目经验者优先考虑。
2. 具备从零开始搭建数据仓库的能力及运维实践经验,熟练掌握数仓建模理论与分层架构设计方法,有Iceberg数据湖应用经验者优先。
3. 熟悉数据治理框架,具备主数据、元数据、数据标准、数据质量及数据安全等方面的落地经验,拥有数据字典维护与指标口径梳理经验者优先;
4. 深入理解HDFS、YARN与MapReduce机制,能够基于Hadoop生态构建可靠的数据底层架构,支撑PB级数据存储与大规模批处理作业。
5. 精通Spark Core、Spark SQL与Spark Streaming,具备内存计算调优、Shuffle性能改进及OOM问题定位与解决能力。
6. 熟练掌握Flink DataStream API与SQL,熟悉Checkpoint机制、状态后端配置与反压处理原理,具有千亿级实时数据链路开发实战经验。
7. 熟悉SpringBoot、SpringCloud、Kafka、Hbase,具备服务拆分、熔断限流、配置中心等高可用架构设计能力;需精通多线程编程、JVM调优与网络通信开发;同时掌握Python或Scala语言,用于脚本编写与数据分析任务。
8. 熟练运用Airflow、DolphinScheduler实现ETL任务的自动化调度与依赖控制,掌握Apache Atlas、DataHub进行数据血缘追踪,使用Griffin或自研工具完成数据质量校验,了解Ranger、Sentry等权限管理组件,保障数据访问的安全合规性。
1. 负责数据中台的整体架构规划与顶层设计,打造高可用、可扩展的原生数据平台,主导微服务架构的设计与性能优化,保障系统在高并发场景下的稳定运行与高效处理能力。
2. 参与或牵头完成数据采集、任务调度、元数据管理、数据质量监控、指标体系建设等核心模块的技术设计与开发工作,构建一体化的大数据开发平台。
3. 推进数据标准制定、数据模型设计及数据流转规范等治理工作,实现企业级数据资产的集中化管理与服务化共享,提升数据的一致性与可用水平。
4. 牵头解决复杂技术难题,持续优化大数据技术体系(如Hadoop、Spark、Flink、Kafka等),并与产品、前端及业务团队密切配合,确保数据产品的高质量交付。
5. 构建智能化、自动化程度高的数据处理流程,提升数据清洗、转换与调度的效率和可靠性,全面支持离线批处理与实时流式计算场景。
任职要求:
1. 了解制造业相关业务流程(包括生产制造、供应链、仓储物流、质量管理等),具备制造领域数据项目经验者优先考虑。
2. 具备从零开始搭建数据仓库的能力及运维实践经验,熟练掌握数仓建模理论与分层架构设计方法,有Iceberg数据湖应用经验者优先。
3. 熟悉数据治理框架,具备主数据、元数据、数据标准、数据质量及数据安全等方面的落地经验,拥有数据字典维护与指标口径梳理经验者优先;
4. 深入理解HDFS、YARN与MapReduce机制,能够基于Hadoop生态构建可靠的数据底层架构,支撑PB级数据存储与大规模批处理作业。
5. 精通Spark Core、Spark SQL与Spark Streaming,具备内存计算调优、Shuffle性能改进及OOM问题定位与解决能力。
6. 熟练掌握Flink DataStream API与SQL,熟悉Checkpoint机制、状态后端配置与反压处理原理,具有千亿级实时数据链路开发实战经验。
7. 熟悉SpringBoot、SpringCloud、Kafka、Hbase,具备服务拆分、熔断限流、配置中心等高可用架构设计能力;需精通多线程编程、JVM调优与网络通信开发;同时掌握Python或Scala语言,用于脚本编写与数据分析任务。
8. 熟练运用Airflow、DolphinScheduler实现ETL任务的自动化调度与依赖控制,掌握Apache Atlas、DataHub进行数据血缘追踪,使用Griffin或自研工具完成数据质量校验,了解Ranger、Sentry等权限管理组件,保障数据访问的安全合规性。
2026-05-19 14:58
IP属地:广东深圳
职位福利
本科3-5年数据架构数据建模数据仓库

深圳壹连科技股份有限公司
已上市 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
大数据工程师(用户画像方向)— 外派岗位
1.5-3万元/月
数据开发5-10年本科要求数据开发经验Scala数据建模经验Kafka计算机相关专业FlinkSQLHiveSpark数据仓库开发经验数据挖掘Python数学/统计相关专业
深圳 宝安区

李先生 · vivo5日内活跃
大数据高级实时开发工程师
3-6万元/月
数据开发5-10年本科Java要求数据开发经验Doris/DruidScalaETL开发经验数据建模经验Kafka非外包类实时数仓开发经验实时数据开发FlinkSQLShellClickhouse
深圳 宝安区

李先生 · vivo5日内活跃
大数据研发工程师
1.3-1.6万元/月
数据开发经验不限本科ETL数据仓库JavaPythonSqlHadoopSparkFlink数据质量保障数据资产构建业务数据支撑
深圳 福田区

陈女士 · 法本信息3日内活跃





