下载鱼泡直聘APP, 求职招聘快人一步!
打开APP
职位详情
岗位职责
1.负责项目中数据采集模块的数据源分析、采集策略制定及处理需求梳理;
重构省级Kafka至地市局Flink的实时回流链路,解决消息积压与资源分配不均问题;
设计T+1离线数据同步方案(基于DataX与大数据集群),确保地市局数据完整入仓
2.负责数据处理任务调度、数据质量稽核等作业流程的设计与落地;
搭建覆盖表级与字段级的数据质量监控体系(如Griffin),贯穿数据采集、加工到API输出全链路;
建立缺数自动预警机制,明确数据异常处理标准流程(SOP)
3.推动数据治理规范在项目中的实际落地执行;
主导编制《数据采集规范》《ETL开发标准》,统一元数据管理口径;
协同推进政府侧数据元管理工作,严格管控外网厂商数据接入合规性
4.承担各类数据系统与平台的ETL开发及性能调优工作;
优化Flink与Kafka集群运行效率,保障实时数据处理稳定可靠;
设计数据血缘追踪机制,提升链路故障定位速度与运维效率
经验要求
1、具备3年以上Flink/Kafka实时计算场景下的性能调优经验,掌握Exactly-Once语义实现原理;
2、熟练运用DataX完成大规模数据高效迁移与同步;
3、熟悉主流数据质量监控工具的应用与集成;
4、了解数据治理体系架构及相关实践方法
技术栈:
Flink|Kafka|DataX|Spark|MySQL|Shell/Python
加分项
1、曾主导企业级数据治理制度规划与落地实施;
2、具备Nifi进行流式数据采集及实时入仓(Lambda架构)的实际项目经验;
3、拥有云环境下ETL任务开发与运维经历;
4、能够设计面向大模型应用的宽表结构,支撑多业务系统共用数据
1.负责项目中数据采集模块的数据源分析、采集策略制定及处理需求梳理;
重构省级Kafka至地市局Flink的实时回流链路,解决消息积压与资源分配不均问题;
设计T+1离线数据同步方案(基于DataX与大数据集群),确保地市局数据完整入仓
2.负责数据处理任务调度、数据质量稽核等作业流程的设计与落地;
搭建覆盖表级与字段级的数据质量监控体系(如Griffin),贯穿数据采集、加工到API输出全链路;
建立缺数自动预警机制,明确数据异常处理标准流程(SOP)
3.推动数据治理规范在项目中的实际落地执行;
主导编制《数据采集规范》《ETL开发标准》,统一元数据管理口径;
协同推进政府侧数据元管理工作,严格管控外网厂商数据接入合规性
4.承担各类数据系统与平台的ETL开发及性能调优工作;
优化Flink与Kafka集群运行效率,保障实时数据处理稳定可靠;
设计数据血缘追踪机制,提升链路故障定位速度与运维效率
经验要求
1、具备3年以上Flink/Kafka实时计算场景下的性能调优经验,掌握Exactly-Once语义实现原理;
2、熟练运用DataX完成大规模数据高效迁移与同步;
3、熟悉主流数据质量监控工具的应用与集成;
4、了解数据治理体系架构及相关实践方法
技术栈:
Flink|Kafka|DataX|Spark|MySQL|Shell/Python
加分项
1、曾主导企业级数据治理制度规划与落地实施;
2、具备Nifi进行流式数据采集及实时入仓(Lambda架构)的实际项目经验;
3、拥有云环境下ETL任务开发与运维经历;
4、能够设计面向大模型应用的宽表结构,支撑多业务系统共用数据
2026-11-16 13:25
IP属地:广东广州
职位福利
大专3-5年Shell要求数据开发经验ETL开发经验MySQL/SQL ServerKafka非外包类数据平台开发经验数据治理经验FlinkPythonSQL

深圳君南信息系统有限公司
未融资 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
1.1-1.4万/月
数据开发3-5年大专Java要求数据开发经验ScalaETL开发经验MySQL/SQL Server实时数仓开发经验数据平台开发经验Flink数据治理经验ShellHivePrestoBI报表开发
广州 黄埔区
8千-1.2万/月
数据开发经验不限本科要求数据开发经验PostgreSQLGoMySQL/SQL Server非外包类数据治理经验SQLC/C++ShellHiveSpark数据仓库开发经验Python
广州 黄埔区
1.8-3.5万/月
数据开发5-10年本科JavaHive要求数据开发经验ScalaKafka非外包类计算机相关专业Spark数据平台开发经验FlinkPythonHBase
广州 黄埔区

先生 · 联通广州软件研究院5日内活跃
1-1.5万/月
数据开发经验不限硕士JavaC/C++Hive要求数据开发经验Kafka非外包类其他Spark数据平台开发经验数据仓库开发经验FlinkPython
广州 黄埔区

先生 · 联通广州软件研究院5日内活跃
1.8-3.5万/月
数据开发5-10年本科Java要求数据开发经验Kafka实时数仓开发经验非外包类计算机相关专业Flink数据治理经验HBaseC/C++HiveSpark数据仓库开发经验Python数学/统计相
广州 黄埔区

先生 · 联通广州软件研究院5日内活跃






