广州·黄埔区
职位详情
岗位职责
1. 负责项目中数据采集模块的数据源评估、采集策略制定及处理需求分析；
重构省级Kafka至地市局Flink的实时回流链路，解决消息积压与资源分配失衡问题
设计T+1离线数据同步机制（基于DataX与大数据集群），确保地市局数据完整入仓
2. 负责数据处理任务调度、数据质量核查等作业的方案设计与落地实施；
构建覆盖表级和字段级的数据质量监控体系（如Griffin），贯穿数据采集、加工到API输出全流程
建立缺数自动预警机制，制定标准化数据纠错流程
3. 推动数据治理规范在项目中的实际落地
牵头编制《数据采集规范》《ETL开发标准》，统一元数据管理口径
协同推进政府侧数据元管理，严格管控外部厂商数据源合规接入
4. 承担各类数据系统与平台的ETL开发工作，并持续进行性能调优
优化Flink/Kafka集群运行效率，保障实时数据处理稳定可靠
设计数据血缘追踪方案，实现链路中断问题快速定位与排查
经验要求
1、具备3年以上Flink/Kafka实时计算场景下的性能调优经验，掌握Exactly-Once语义保障机制；
2、熟练运用DataX完成大规模数据高效同步；
3、熟悉主流数据质量监控工具的应用与配置；
4、了解数据治理体系及相关实施方法论
技术栈：
Flink | Kafka | DataX | Spark | MySQL | Shell/Python
加分项
1、曾主导数据治理制度的规划与落地；
2、具备Nifi流式数据采集及实时入仓（Lambda架构）实践经验；
3、拥有云环境下的ETL开发经历；
4、能够设计支持多业务系统复用的大模型宽表结构
1. 负责项目中数据采集模块的数据源评估、采集策略制定及处理需求分析；
重构省级Kafka至地市局Flink的实时回流链路，解决消息积压与资源分配失衡问题
设计T+1离线数据同步机制（基于DataX与大数据集群），确保地市局数据完整入仓
2. 负责数据处理任务调度、数据质量核查等作业的方案设计与落地实施；
构建覆盖表级和字段级的数据质量监控体系（如Griffin），贯穿数据采集、加工到API输出全流程
建立缺数自动预警机制，制定标准化数据纠错流程
3. 推动数据治理规范在项目中的实际落地
牵头编制《数据采集规范》《ETL开发标准》，统一元数据管理口径
协同推进政府侧数据元管理，严格管控外部厂商数据源合规接入
4. 承担各类数据系统与平台的ETL开发工作，并持续进行性能调优
优化Flink/Kafka集群运行效率，保障实时数据处理稳定可靠
设计数据血缘追踪方案，实现链路中断问题快速定位与排查
经验要求
1、具备3年以上Flink/Kafka实时计算场景下的性能调优经验，掌握Exactly-Once语义保障机制；
2、熟练运用DataX完成大规模数据高效同步；
3、熟悉主流数据质量监控工具的应用与配置；
4、了解数据治理体系及相关实施方法论
技术栈：
Flink | Kafka | DataX | Spark | MySQL | Shell/Python
加分项
1、曾主导数据治理制度的规划与落地；
2、具备Nifi流式数据采集及实时入仓（Lambda架构）实践经验；
3、拥有云环境下的ETL开发经历；
4、能够设计支持多业务系统复用的大模型宽表结构
2026-08-13 13:49
IP属地：广东广州
职位福利
大专3-5年Shell要求数据开发经验ETL开发经验MySQL/SQL ServerKafka非外包类数据平台开发经验数据治理经验FlinkPythonSQL
深圳君南信息系统有限公司
未融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
高级大数据工程师【平台+六险三金】
1.8-3.5万元/月
数据开发5-10年本科Java要求数据开发经验Kafka实时数仓开发经验非外包类计算机相关专业Flink数据治理经验HBaseC/C++HiveSpark数据仓库开发经验Python数学/统计相
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
高级大数据开发工程师
1.8-3.5万元/月
数据开发5-10年本科JavaHive要求数据开发经验ScalaKafka非外包类计算机相关专业Spark数据平台开发经验FlinkPythonHBase
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
大数据开发工程师（校园招聘）
1-1.5万元/月
数据开发经验不限硕士JavaC/C++Hive要求数据开发经验Kafka非外包类其他Spark数据平台开发经验数据仓库开发经验FlinkPython
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
大数据开发工程师（26届校园招聘）
1-1.5万元/月
数据开发经验不限硕士Java要求数据开发经验ScalaETL开发经验数据建模经验Kafka实时数仓开发经验非外包类数据平台开发经验Flink数据治理经验C/C++其他数据开发经验BI报表开发经验
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
数据开发运维（SQL/Python）
8000-12000元/月
数据开发经验不限本科要求数据开发经验PostgreSQLGoMySQL/SQL Server非外包类数据治理经验SQLC/C++ShellHiveSpark数据仓库开发经验Python
广州 黄埔区
数据开发工程师
1-1.5万元/月
数据开发3-5年大专Shell要求数据开发经验ETL开发经验MySQL/SQL ServerKafka非外包类数据平台开发经验数据治理经验FlinkPythonSQL
广州 黄埔区
高级大数据开发工程师
1.8-3.5万元/月
数据开发5-10年本科JavaHive要求数据开发经验ScalaKafka非外包类计算机相关专业Spark数据平台开发经验FlinkPythonHBase
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
高级大数据工程师【央企平台+六险三金】
1.8-3.5万元/月
数据开发5-10年本科Java要求数据开发经验Kafka实时数仓开发经验非外包类计算机相关专业Flink数据治理经验HBaseC/C++HiveSpark数据仓库开发经验Python数学/统计相
广州 黄埔区
先生 · 联通广州软件研究院5日内活跃
收藏职位
