职位详情
1、数据管道建设与维护:负责大数据平台数据接入、清洗、转换及加载(ETL/ELT)流程的设计与开发,确保数据从源头到应用端的高效、稳定传输。
2、数仓模型构建与管理:参与数据仓库分层架构(ODS/DWD/DWS/ADS)的设计与落地,构建统一、规范、可复用的数据模型,解决数据孤岛与冗余问题。
3、数据质量保障:建立数据质量监控体系,通过全链路数据校验、血缘分析及异常告警机制,保障数据的准确性、完整性、一致性和及时性。
4、性能优化与成本管控:针对大规模数据计算任务进行 SQL 及调度性能优化,解决数据倾斜、任务超时等问题,并在保证SLA的前提下控制集群计算资源成本。
5、数据服务支持:对接业务部门及数据应用团队,提供高效的数据接口、报表支持及自助分析工具,赋能业务决策与产品迭代。
大数据生态精通:深入理解 Hadoop、Hive、Spark、Flink 等主流大数据组件原理与应用,至少精通其中一种计算引擎的性能调优。
数仓方法论掌握:熟悉数据仓库理论,具备实际的多层数仓建设经验,熟练掌握维度建模方法(星型/雪花模型),了解 Kimball 或 Inmon 方法论者优先。
SQL 与脚本能力:具备极强的 SQL 编写能力,能够处理复杂的数据聚合逻辑;熟练使用 Shell/Python 等脚本进行自动化运维或数据处理。
问题解决与协作能力:具备良好的逻辑思维和问题排查能力,能独立定位并解决线上数据异常;拥有良好的沟通协调能力,能高效跨团队协作推动项目落地。
2、数仓模型构建与管理:参与数据仓库分层架构(ODS/DWD/DWS/ADS)的设计与落地,构建统一、规范、可复用的数据模型,解决数据孤岛与冗余问题。
3、数据质量保障:建立数据质量监控体系,通过全链路数据校验、血缘分析及异常告警机制,保障数据的准确性、完整性、一致性和及时性。
4、性能优化与成本管控:针对大规模数据计算任务进行 SQL 及调度性能优化,解决数据倾斜、任务超时等问题,并在保证SLA的前提下控制集群计算资源成本。
5、数据服务支持:对接业务部门及数据应用团队,提供高效的数据接口、报表支持及自助分析工具,赋能业务决策与产品迭代。
大数据生态精通:深入理解 Hadoop、Hive、Spark、Flink 等主流大数据组件原理与应用,至少精通其中一种计算引擎的性能调优。
数仓方法论掌握:熟悉数据仓库理论,具备实际的多层数仓建设经验,熟练掌握维度建模方法(星型/雪花模型),了解 Kimball 或 Inmon 方法论者优先。
SQL 与脚本能力:具备极强的 SQL 编写能力,能够处理复杂的数据聚合逻辑;熟练使用 Shell/Python 等脚本进行自动化运维或数据处理。
问题解决与协作能力:具备良好的逻辑思维和问题排查能力,能独立定位并解决线上数据异常;拥有良好的沟通协调能力,能高效跨团队协作推动项目落地。
2026-08-05 15:07
IP属地:广东
职位福利
本科3-5年国内院校优先Python计算机相关专业

上海海万信息科技股份有限公司
不需要融资 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >










