职位详情
岗位职责:
1、负责公司数据仓库、数据湖及实时数据处理体系的架构设计与系统搭建。根据业务需求与数据特性,选择合适的存储技术与解决方案,保障数据的高效存取与管理,并持续进行架构调优,以应对数据规模扩展与业务演进,确保系统的稳定性与可伸缩性。
2、制定并实施多源数据采集方案,整合来自数据库、文件系统等不同渠道的数据资源。运用ETL工具完成数据的清洗、转换与集成,构建自动化数据处理流程,实现数据的定时更新,为数据分析、挖掘及各类应用提供可靠、高质量的数据支持。
3、结合业务场景与分析目标,设计适用于数据仓库(如星型、雪花模型)以及机器学习和数据挖掘任务的特征模型。使用SQL、Java等语言实现数据查询、统计计算及算法逻辑,支撑数据探索、报表输出与模型训练需求。
4、建立完善的数据质量管理体系,设定监控指标与评估机制。借助技术手段对数据异常(如缺失、重复等)进行实时预警与处理。协同数据来源部门与业务团队,优化数据采集流程与规范,持续提升整体数据质量水平。
5、制定并落实数据权限管控策略,严格遵循相关法律法规,确保数据使用的合法性与存储的合规性。对敏感信息实施加密与脱敏处理,防范数据泄露风险,保障数据资产安全。
任职要求:
1、计算机、软件工程、数学、统计学、数据科学等相关专业本科及以上学历。
2、熟练掌握至少一种ETL工具(如Informatica、Talend、Kettle),能够独立完成数据抽取、转换与加载工作。精通SQL,具备编写复杂查询及数据库性能调优的能力,熟悉主流关系型数据库(如Oracle、MySQL、SQL Server)。掌握Java等数据处理编程语言,可用于数据清洗、分析及算法开发。
3、理解数据仓库与数据湖的架构原理,熟悉常用数据建模方法,具备设计合理数据模型的能力。了解分布式存储与计算技术(如Hadoop、Spark、Hive、HBase),能搭建并维护分布式数据环境,具有数据架构设计与优化经验。
4、熟悉数据质量管理流程,能够识别并解决常见数据质量问题。了解数据安全与合规要求,掌握数据加密、脱敏及访问控制技术,能够有效保障数据的安全性与合规性。
5、具备Linux系统操作能力,可在该环境下开展数据处理与系统运维工作。熟悉常用的数据分析与可视化工具。
6、学习与创新能力突出,能快速吸收新技术与工具。具备较强的逻辑思维与问题解决能力,可独立应对复杂的数据处理挑战。拥有良好的团队协作意识与沟通能力,能与多部门高效配合。
7、具有3年以上数据开发工作经验,有完整参与过数据仓库或大数据项目者优先,具备大规模、实时数据处理实践经验者更佳。
1、负责公司数据仓库、数据湖及实时数据处理体系的架构设计与系统搭建。根据业务需求与数据特性,选择合适的存储技术与解决方案,保障数据的高效存取与管理,并持续进行架构调优,以应对数据规模扩展与业务演进,确保系统的稳定性与可伸缩性。
2、制定并实施多源数据采集方案,整合来自数据库、文件系统等不同渠道的数据资源。运用ETL工具完成数据的清洗、转换与集成,构建自动化数据处理流程,实现数据的定时更新,为数据分析、挖掘及各类应用提供可靠、高质量的数据支持。
3、结合业务场景与分析目标,设计适用于数据仓库(如星型、雪花模型)以及机器学习和数据挖掘任务的特征模型。使用SQL、Java等语言实现数据查询、统计计算及算法逻辑,支撑数据探索、报表输出与模型训练需求。
4、建立完善的数据质量管理体系,设定监控指标与评估机制。借助技术手段对数据异常(如缺失、重复等)进行实时预警与处理。协同数据来源部门与业务团队,优化数据采集流程与规范,持续提升整体数据质量水平。
5、制定并落实数据权限管控策略,严格遵循相关法律法规,确保数据使用的合法性与存储的合规性。对敏感信息实施加密与脱敏处理,防范数据泄露风险,保障数据资产安全。
任职要求:
1、计算机、软件工程、数学、统计学、数据科学等相关专业本科及以上学历。
2、熟练掌握至少一种ETL工具(如Informatica、Talend、Kettle),能够独立完成数据抽取、转换与加载工作。精通SQL,具备编写复杂查询及数据库性能调优的能力,熟悉主流关系型数据库(如Oracle、MySQL、SQL Server)。掌握Java等数据处理编程语言,可用于数据清洗、分析及算法开发。
3、理解数据仓库与数据湖的架构原理,熟悉常用数据建模方法,具备设计合理数据模型的能力。了解分布式存储与计算技术(如Hadoop、Spark、Hive、HBase),能搭建并维护分布式数据环境,具有数据架构设计与优化经验。
4、熟悉数据质量管理流程,能够识别并解决常见数据质量问题。了解数据安全与合规要求,掌握数据加密、脱敏及访问控制技术,能够有效保障数据的安全性与合规性。
5、具备Linux系统操作能力,可在该环境下开展数据处理与系统运维工作。熟悉常用的数据分析与可视化工具。
6、学习与创新能力突出,能快速吸收新技术与工具。具备较强的逻辑思维与问题解决能力,可独立应对复杂的数据处理挑战。拥有良好的团队协作意识与沟通能力,能与多部门高效配合。
7、具有3年以上数据开发工作经验,有完整参与过数据仓库或大数据项目者优先,具备大规模、实时数据处理实践经验者更佳。
2026-07-06 13:43
IP属地:江西南昌
职位福利
本科3-5年数据仓库ETL数据架构SqlJavaSparkHadoopInformaticaTalendKettle

江西守一科技有限公司

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >






