深圳·龙岗区
职位详情
关键字：华为云大数据，大数据迁移、pyspark、python、scala spark
主要职责：
1、承担大数据平台搬迁及系统集成相关工作。
2、使用华为云数据迁移工具完成数据仓库的迁移任务，并执行数据一致性核对。
3、处理大规模数据集，开展实时与批量数据分析，满足业务发展需要。
4、具备扎实的SQL调优能力；可高效完成数据比对，在数据异常时能通过日志追溯并准确定位问题脚本。
任职资格：
1、具有5年大数据开发从业经历，掌握主流大数据技术体系。
2、深入理解 Hadoop、Spark、Flink、Hive 等大数据处理框架，具备4年以上 python、pyspark、hive、sparksql 开发经验，可独立承担 flink、spark 作业的开发与迁移，并完成端到端联调测试。
3、熟练运用 Java、SQL、Scala 或 Python 编程语言。
4、拥有较强的SQL性能优化能力，了解关系型数据库与NoSQL数据库特性。
5、有大数据平台性能调优的实际项目经验。
6、具备良好的沟通协作能力及文档撰写能力。
7、本科及以上学历。
8、熟悉华为MRS、DataArt Studio、Data Lake、GaussDB(DWS)者优先，具备数据迁移项目经验者优先。
主要职责：
1、承担大数据平台搬迁及系统集成相关工作。
2、使用华为云数据迁移工具完成数据仓库的迁移任务，并执行数据一致性核对。
3、处理大规模数据集，开展实时与批量数据分析，满足业务发展需要。
4、具备扎实的SQL调优能力；可高效完成数据比对，在数据异常时能通过日志追溯并准确定位问题脚本。
任职资格：
1、具有5年大数据开发从业经历，掌握主流大数据技术体系。
2、深入理解 Hadoop、Spark、Flink、Hive 等大数据处理框架，具备4年以上 python、pyspark、hive、sparksql 开发经验，可独立承担 flink、spark 作业的开发与迁移，并完成端到端联调测试。
3、熟练运用 Java、SQL、Scala 或 Python 编程语言。
4、拥有较强的SQL性能优化能力，了解关系型数据库与NoSQL数据库特性。
5、有大数据平台性能调优的实际项目经验。
6、具备良好的沟通协作能力及文档撰写能力。
7、本科及以上学历。
8、熟悉华为MRS、DataArt Studio、Data Lake、GaussDB(DWS)者优先，具备数据迁移项目经验者优先。
2026-05-20 10:25
IP属地：广东深圳
职位福利
本科5-10年数据治理JavaPythonScalaHadoopHiveSparkFlink
软通动力信息技术（集团）股份有限公司
已上市 · 10000人以上
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
数据开发（IT职位-周末双休-提供住宿）
1.5-2.5万元/月
数据开发3-5年本科跨境电商要求数据开发经验ETL开发经验BI报表开发经验非外包类其他数据仓库开发经验SQLFineBI
深圳 龙岗区
罗女士 · 华杰电商5日内活跃
数据开发（IT职位-双休-包住）
1.5-2.5万元/月
数据开发5-10年本科跨境电商要求数据开发经验ETL开发经验数据治理BI报表开发经验非外包类其他数据仓库开发经验SQLFineBI
深圳 龙岗区
罗女士 · 华杰电商5日内活跃
数据开发
1.2-2.4万元/月
数据开发5-10年本科要求数据开发经验数据仓库ETL开发经验数据建模经验MySQL/SQL ServerStarRocks非外包类数据治理经验SQLFineBI数据治理BI报表开发经验数据仓库开发经
深圳 龙岗区
罗女士 · 华杰电商5日内活跃
收藏职位
