职位详情
核心技术与技能栈
1. 数据管道设计与开发
熟悉汉得HDSP数据服务平台,掌握其数据集成、开发及任务调度等核心功能模块的使用与配置。
深入理解Apache Doris架构机制,熟练运用其多种数据模型(聚合、唯一、重复模型)及表结构设计方法(分区、分桶、RollUp物化视图)。
掌握主流ETL/ELT工具中的一种或多种,如DataX、SeaTunnel、Kettle、Spark SQL,并能与HDSP平台协同完成数据处理任务。
2. 数据集成与同步
具备对接多种关系型数据库(如Oracle、MySQL、SQL Server)的能力,实现高效的数据抽取与整合。
精通基于HDSP与Doris构建的离线数据链路架构,可稳定支持T+1模式下的数据同步需求。
3. 数据处理与开发
熟练编写和优化SQL语句,具备较强的查询性能调优经验。
有使用Doris进行复杂场景下数据清洗、转换与聚合处理的实际项目经历者优先考虑。
4. 数据建模理论
理解数据仓库各层级设计原则(ODS、DWD、DWS、ADS),能够结合实际业务需要开展合理的分层建模。
熟悉维度建模方法论,熟练应用星型模型与雪花模型,掌握事实表、维度表以及缓慢变化维的处理策略。
5. Doris专项能力
深入掌握Doris作为OLAP引擎的查询机制与性能优化要点,能依据典型查询场景设计高性能数据模型与物化视图。
具备Doris集群部署规划经验,涵盖节点配置、库表划分策略、数据备份与恢复方案制定。
6. 数据治理与质量保障
了解数据治理关键范畴,包括元数据管理、数据血缘追踪、数据质量规范、数据安全控制等内容。
有参与数据治理平台建设或实际落地经验,能够借助HDSP或其他工具推进数据资产目录与标准体系的实施。
1. 数据管道设计与开发
熟悉汉得HDSP数据服务平台,掌握其数据集成、开发及任务调度等核心功能模块的使用与配置。
深入理解Apache Doris架构机制,熟练运用其多种数据模型(聚合、唯一、重复模型)及表结构设计方法(分区、分桶、RollUp物化视图)。
掌握主流ETL/ELT工具中的一种或多种,如DataX、SeaTunnel、Kettle、Spark SQL,并能与HDSP平台协同完成数据处理任务。
2. 数据集成与同步
具备对接多种关系型数据库(如Oracle、MySQL、SQL Server)的能力,实现高效的数据抽取与整合。
精通基于HDSP与Doris构建的离线数据链路架构,可稳定支持T+1模式下的数据同步需求。
3. 数据处理与开发
熟练编写和优化SQL语句,具备较强的查询性能调优经验。
有使用Doris进行复杂场景下数据清洗、转换与聚合处理的实际项目经历者优先考虑。
4. 数据建模理论
理解数据仓库各层级设计原则(ODS、DWD、DWS、ADS),能够结合实际业务需要开展合理的分层建模。
熟悉维度建模方法论,熟练应用星型模型与雪花模型,掌握事实表、维度表以及缓慢变化维的处理策略。
5. Doris专项能力
深入掌握Doris作为OLAP引擎的查询机制与性能优化要点,能依据典型查询场景设计高性能数据模型与物化视图。
具备Doris集群部署规划经验,涵盖节点配置、库表划分策略、数据备份与恢复方案制定。
6. 数据治理与质量保障
了解数据治理关键范畴,包括元数据管理、数据血缘追踪、数据质量规范、数据安全控制等内容。
有参与数据治理平台建设或实际落地经验,能够借助HDSP或其他工具推进数据资产目录与标准体系的实施。
2025-12-17 08:59
IP属地:福建福州
职位福利
大专3-5年要求数据开发经验ETL开发经验其他Spark数据平台开发经验

芯知科技(江苏)有限公司
A轮 · 1000-9999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
9千-1.1万/月
数据开发3-5年本科建设银行Shell要求数据开发经验MySQL/SQL Server云平台演示其他大数据云作业计算机相关专业数据仓库开发经验Oracle金融行业经验建行
福州
1-1.1万/月
数据开发3-5年本科Shell要求数据开发经验MySQL/SQL Server云平台演示其他大数据云作业计算机相关专业数据仓库开发经验Oracle金融行业经验
福州 台江区








