大数据平台开发（上市企业）

1.4-2万元/月

青浦区

王女士

已实名

企业认证

德科信息有限公司

职位详情

数据开发

外包岗位，上市公司，高精度导航定位业务方向~

主要职责：
1、平台架构与开发：
·主导大数据平台核心功能模块的技术设计、编码实现及持续优化
·依托ClickHouse/Doris等OLAP数据库搭建高性能实时数据仓库体系
·设计并落地高吞吐、低延迟的数据流转架构
·构建并维护数据服务接口，满足各类业务系统的数据调用需求

2、数据处理与优化：
·搭建实时或近实时数据处理体系，适配多样化业务场景
·开展大数据组件的性能提升工作，涵盖查询加速、存储精简和资源调度优化
·制定大对象（BLOB/CLOB）数据的高效存取与网络传输策略
·确保数据处理过程的准确性和完整性，建立完善的数据质量监测机制

3、技术架构与演进：
·参与大数据平台整体技术路线的规划与架构升级
·调研并推动前沿大数据技术的落地应用，增强平台服务能力
·制定统一的数据处理流程和技术实施规范
·设计具备高可用性与弹性扩展能力的系统结构，匹配业务规模快速扩张需求

4、跨团队协作：
·协同产品与业务部门，将实际需求转化为可行的技术解决方案
·带领初级开发人员成长，提升团队整体技术能力
·参与关键技术选型，促进标准化开发实践的普及

技术栈：
1、扎实的Java编程能力，具备5年以上项目实战经验，熟练运用Spring Boot/Spring Cloud微服务体系；
2、具备ClickHouse或Doris的深度使用背景，掌握集群部署、运维管理、性能调优、查询优化及数据建模与分区策略；
3、熟练操作Kafka，拥有大规模数据流处理经验，熟悉Linux操作系统及常用指令，具备大体量非结构化数据（图片、视频、文档等）的存储与传输实操经验，了解主流分布式存储系统（如HDFS、S3、OSS等）；
4、具有TB至PB级数据处理实战经历，掌握数据仓库建模方法与ETL开发流程，主导过完整的大数据平台从零构建项目；
5、能独立完成复杂数据处理系统的架构设计与实现，熟悉Flink/Spark/Hive等大数据生态组件，具备高并发、高可用系统的设计经验，理解微服务架构与服务治理机制。

加分项：
1、了解MPP数据库架构原理；
2、具备服务从架构设计到上线部署的全周期实施经验。

2026-06-06 12:34

IP属地：上海

职位福利

本科5-10年JavaHive要求数据开发经验MySQL/SQL ServerClickhouse实时数仓开发经验Spark数据平台开发经验SpringbootFlinkSQL