职位详情
岗位描述:
1、运用SparkSQL与Python进行数据管道的设计、开发及维护,实现大规模数据的高效处理与扩展。
2、在Hadoop分布式文件系统(HDFS)中负责数据存储的管理与优化,保障各系统间数据的准确性、完整性与安全。
3、持续监控并优化数据管道性能与查询效率,提升系统的可扩展性与运行稳定性。
4、快速定位并解决数据异常问题,降低对业务运作的潜在影响。
岗位要求:
1、具备计算机科学、信息技术或相关专业本科及以上学历。
2、拥有基于HDFS的分布式数据存储与管理实际经验,了解Trino在分布式SQL查询中的应用。
3、熟悉AWS或华为HCS等主流云平台者优先考虑
1、运用SparkSQL与Python进行数据管道的设计、开发及维护,实现大规模数据的高效处理与扩展。
2、在Hadoop分布式文件系统(HDFS)中负责数据存储的管理与优化,保障各系统间数据的准确性、完整性与安全。
3、持续监控并优化数据管道性能与查询效率,提升系统的可扩展性与运行稳定性。
4、快速定位并解决数据异常问题,降低对业务运作的潜在影响。
岗位要求:
1、具备计算机科学、信息技术或相关专业本科及以上学历。
2、拥有基于HDFS的分布式数据存储与管理实际经验,了解Trino在分布式SQL查询中的应用。
3、熟悉AWS或华为HCS等主流云平台者优先考虑
2026-06-26 14:38
IP属地:广东深圳
职位福利
本科3-5年HadoopJavaFlinkSparkPython

广州市康诚信息科技有限公司
未融资 · 20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
数据开发工程师(基金/数据仓库方向)
1.4-1.8万元/月
数据开发5-10年本科SqlPython数据建模数据仓库ETLhiveHadoopSparkO32TA系统监管报表
深圳 南山区
数据开发工程师(自考本科可报,长期稳定,金融方向)
1.3-1.8万元/月
数据开发5-10年本科数据治理数据仓库数据中台开发SqlPythonHadoopFlinkSpark
深圳 南山区
数据工程师-深圳
1-1.5万元/月
数据开发1-3年本科JavaHive要求数据开发经验MySQL/SQL Server非外包类Spark计算机相关专业数据平台开发经验数据仓库开发经验
深圳 南山区









