大数据系统开发

1.5-2.5万元/月

青浦区

秦先生

已实名

企业认证

德科信息有限公司

职位详情

数据开发

岗位职责：
1、平台架构与开发
负责大数据平台核心功能模块的架构设计、编码实现及持续优化
基于ClickHouse/Doris等OLAP引擎搭建高性能实时数据仓库
设计并实现高并发、低延迟的数据流转通道
开发并维护数据服务接口，满足业务系统的多样化数据调用需求

2、数据处理与优化
搭建实时及近实时数据处理体系，适配多类复杂业务逻辑
对大数据相关组件进行性能调优，涵盖查询效率、存储结构与计算资源分配
设计大对象（BLOB/CLOB）数据的高效存取与传输机制
确保数据处理过程的准确性与完整性，构建端到端的数据质量监控方案

3、技术架构与演进
参与大数据平台整体技术路线规划与架构升级
调研并引入先进的大数据工具与框架，增强平台处理能力
制定统一的数据处理流程与技术规范
设计具备高可用性与弹性扩展能力的系统架构，匹配业务快速扩张需求

4、跨团队协作
与产品及业务部门密切配合，将实际需求转化为可落地的技术架构
协助指导初级开发人员，推动团队技术能力整体提升
参与关键技术选型，促进成熟技术实践在团队内部落地

任职要求：
必备技能：
扎实的Java编程能力，具备5年以上真实项目开发经历
熟练运用Spring Boot/Spring Cloud微服务技术栈
具有ClickHouse或Doris的深入使用经验，包含：
集群部署与日常运维
查询性能调优与执行计划分析
数据模型构建与分区策略设计
熟练使用Kafka，具备大规模消息队列处理实战经验
熟悉Linux操作系统及常用操作命令
具备大体量非结构化数据（如图片、视频、文档）存储与传输实施经验
了解主流分布式存储系统（HDFS、S3、OSS等）
有TB至PB级别数据规模的处理实践经验
掌握数据仓库建模方法论及ETL流程开发
主导过完整大数据平台从零搭建的项目全过程
能独立完成复杂数据处理系统的方案设计与工程实现
熟悉Flink、Spark、Hive等大数据生态组件的基本原理与应用场景
具备高并发、高可用系统的设计与落地经验
理解微服务架构模式及相关服务治理机制

加分项：
了解MPP数据库架构特点
具备从系统设计到上线部署的全链路实施经验

2026-06-21 12:15

IP属地：上海

职位福利

本科5-10年JavaHive要求数据开发经验KafkaClickhouse实时数仓开发经验Spark数据平台开发经验SpringbootFlink