佛山·顺德区
职位详情
1. 数据任务开发：
- 掌握Hadoop/Spark基础组件（HDFS/YARN/MapReduce）的核心机制与运行原理。
- 熟练编写复杂Hive SQL任务，具备执行性能调优能力（如分区裁剪、谓词下推等优化策略）。
- 能够高效开发Spark批处理作业，深入理解RDD/DataFrame执行流程，合理优化Shuffle过程及内存资源配置。
2. 数据建模与架构：
- 熟悉星型模型与雪花模型的构建方法，能结合具体业务场景设计合理的数据模型结构。
3. ETL工具及调度：
- 熟练运用ETL工具（如Kettle）进行数据清洗、转换和加载，满足各业务部门的数据处理需求。
- 掌握常用调度平台（如Airflow/DolphinScheduler）的任务编排配置与运行状态监控。
4. 数据集成：
- 能设计涵盖多源异构数据的整合方案（包括API接口、日志文件、数据库等多种接入方式），有效处理数据一致性问题。
- 熟悉MySQL/Oracle等关系型数据库的增删改查操作，掌握索引等基础性能优化手段。
5. 报表开发：
- 可依据业务需要，设计支持多维度、多指标分析的综合性报表体系。
- 熟悉ClickHouse/DorisDB集群的部署架构与查询性能优化技巧。
6. 数据服务与工具开发：
- 编写数据质量检测脚本，及时发现异常数据并推动相关方完成修复。
- 使用Python/Java开发通用数据服务接口，指导业务人员使用自助式数据分析工具。
7. 业务知识：
- 具备对所属领域核心业务概念与流程的深入认知，可独立承接业务需求开发，解决实际复杂问题。
- 掌握Hadoop/Spark基础组件（HDFS/YARN/MapReduce）的核心机制与运行原理。
- 熟练编写复杂Hive SQL任务，具备执行性能调优能力（如分区裁剪、谓词下推等优化策略）。
- 能够高效开发Spark批处理作业，深入理解RDD/DataFrame执行流程，合理优化Shuffle过程及内存资源配置。
2. 数据建模与架构：
- 熟悉星型模型与雪花模型的构建方法，能结合具体业务场景设计合理的数据模型结构。
3. ETL工具及调度：
- 熟练运用ETL工具（如Kettle）进行数据清洗、转换和加载，满足各业务部门的数据处理需求。
- 掌握常用调度平台（如Airflow/DolphinScheduler）的任务编排配置与运行状态监控。
4. 数据集成：
- 能设计涵盖多源异构数据的整合方案（包括API接口、日志文件、数据库等多种接入方式），有效处理数据一致性问题。
- 熟悉MySQL/Oracle等关系型数据库的增删改查操作，掌握索引等基础性能优化手段。
5. 报表开发：
- 可依据业务需要，设计支持多维度、多指标分析的综合性报表体系。
- 熟悉ClickHouse/DorisDB集群的部署架构与查询性能优化技巧。
6. 数据服务与工具开发：
- 编写数据质量检测脚本，及时发现异常数据并推动相关方完成修复。
- 使用Python/Java开发通用数据服务接口，指导业务人员使用自助式数据分析工具。
7. 业务知识：
- 具备对所属领域核心业务概念与流程的深入认知，可独立承接业务需求开发，解决实际复杂问题。
2026-06-21 13:19
IP属地：广东佛山
职位福利
大专5-10年数据库开发
软通动力信息技术（集团）股份有限公司
已上市 · 10000人以上
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
大数据开发工程师（需外勤）
1.5-1.8万元/月
数据开发5-10年本科Java要求数据开发经验Doris/DruidETL开发经验数据建模经验实时数仓开发经验非外包类数据平台开发经验Flink数据治理经验制造业行业经验Spark数据仓库开发经验
佛山 顺德区
BI实施顾问 (MJ002020)
7000-12000元/月
数据开发经验不限本科要求数据开发经验财务系统开发MySQL/SQL ServerBI报表开发经验非外包类数据平台开发经验数据仓库开发经验金融行业经验SQL
佛山 高明区
BI实施顾问(MJ002020)
7000-12000元/月
数据开发经验不限本科要求数据开发经验财务系统开发MySQL/SQL ServerBI报表开发经验非外包类数据平台开发经验数据仓库开发经验金融行业经验SQL
佛山 高明区
收藏职位
