搜索
登录注册

职位详情

核心技术与技能栈

1. 数据管道设计与开发
 熟悉汉得HDSP数据服务平台,掌握其数据集成、数据开发及任务调度等核心功能模块。
 深入理解Apache Doris架构原理,熟练运用其多种数据模型(聚合模型、唯一模型、重复模型)及表结构设计方法(分区、分桶、RollUp物化视图)。
 掌握至少一种主流ETL/ELT工具,如DataX、SeaTunnel、Kettle、Spark SQL,并能与HDSP平台协同使用。

2. 数据集成与同步
 具备对接多种关系型数据库(如Oracle、MySQL、SQL Server等)并进行数据抽取与处理的能力。
 精通基于HDSP与Doris构建的离线数据管道架构,能够实现T+1模式下的数据同步流程。

3. 数据处理与开发
 熟练编写SQL语句,具备良好的SQL性能优化能力。
 有使用Doris完成复杂数据清洗、转换与聚合任务的实际开发经验者优先考虑。

4. 数据建模理论
 理解数据仓库分层架构(如ODS、DWD、DWS、ADS),可根据具体业务需求进行合理的数据模型设计。
 掌握维度建模方法论,熟悉星型模型与雪花模型的应用场景,了解事实表、维度表及缓慢变化维等相关概念。

5. Doris专项能力
 熟悉Doris作为OLAP引擎的查询机制与性能优化策略,能依据实际查询需求设计高效的数据模型与物化视图。
 具备Doris集群部署规划能力,涵盖节点配置、库表拆分策略以及数据备份与恢复方案制定。

6. 数据治理与质量保障
 了解数据治理关键领域,包括元数据管理、数据血缘追踪、数据质量规范及数据安全管理。
 有参与数据治理平台建设或实际应用经验,可借助HDSP或其他工具推动数据资产目录与数据标准的实施落地。
2025-12-17 07:32
IP属地:福建福州

职位福利

大专5-10年
企业发布信息图
芯知科技(江苏)有限公司
A轮 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

1.3-1.4万/月
数据开发3-5年大专要求数据开发经验ETL开发经验其他Spark数据平台开发经验
福州 闽侯县
1.4-1.6万/月
数据开发3-5年大专要求数据开发经验Doris/DruidETL开发经验数据平台开发经验SQL
福州 闽侯县
8千-1.3万/月
数据开发3-5年本科数据仓库Python银行监管报送
福州 鼓楼区
9千-1.1万/月
数据开发3-5年本科建设银行Shell要求数据开发经验MySQL/SQL Server云平台演示其他大数据云作业计算机相关专业数据仓库开发经验Oracle金融行业经验建行
福州
7-8千/月
数据开发1-3年本科要求数据开发经验其他数据开发经验非外包类计算机相关专业PythonSQL数学/统计相关专业
福州
1-1.1万/月
数据开发3-5年本科Shell要求数据开发经验MySQL/SQL Server云平台演示其他大数据云作业计算机相关专业数据仓库开发经验Oracle金融行业经验
福州 台江区
8千-1万/月
数据开发3-5年本科Hive要求数据开发经验BI报表开发经验Spark数据平台开发经验FlinkSQL
福州 台江区
8千-1万/月
数据开发3-5年本科要求数据开发经验金融证券证券数据建模经验数据平台开发经验Flink金融行业经验金融财务SQLHiveSpark证券业务
福州 台江区
7-9千/月
数据开发经验不限学历不限
福州 鼓楼区 温泉