职位详情
任职要求
1)硬性技能要求
编程语言与架构:5年及以上Java后台开发经验,精通Java基础(集合、多线程、JVM调优、IO/NIO),深入理解Spring Boot、Spring Cloud微服务架构原理,具备微服务架构设计与调优经验。
大数据组件深度经验
a.精通Kafka原理与应用,具备集群架构设计、分区策略优化、消息可靠性保障、⾼并发场景调优实战经验,能独⽴解决Kafka消息积压、重复消费、分区不均等问题。
b.精通hive/PostgreSQL/clickhouse,具备分布式表设计、索引优化、查询性能调优、分库分表⽅案落地经验,能针对TB级数据场景设计高效存储与查询方案。
c.熟悉Hadoop、Spark、Flink等计算框架,具备实时/离线数据处理、ETL架构设计经验者优先。
技术能⼒:精通Linux系统,熟练使用Shell/Python脚本进行运维自动化与数据处理;具备扎实的数据库建模能力,理解数仓分层(ODS/DWD/DWS/ADS)设计理念;具备分布式系统问题排查能力,能通过日志、监控定位并解决性能瓶颈、稳定性问题。
工程化能力:精通Git、Maven/Gradle,熟悉CI/CD流程,具备自动化部署、容器化(Docker/K8s)经验者优先;具备良好的代码评审能力,能识别代码中的性能、安全、扩展性问题。
2)软技能要求
具备极强的需求分析与逻辑思维能力,能将复杂业务需求转化为清晰的技术方案。
具备优秀的跨团队沟通协调能力,能推动跨部门项目落地。
具备技术领导力,能带领团队攻克技术难点,推动技术创新与沉淀。
具备前瞻性思维,能预判技术风险并制定应对方案。
核心岗位职责
1)架构设计与技术决策
主导数据中心整体技术架构设计,包括数据链路(采集-存储-计算-服务)、微服务架构、大数据组件集群架构,输出架构设计文档并推动落地。
负责技术选型决策,针对Kafka、hive、PostgreSQL、flink、clickhouse等组件的集群部署、高可用方案、性能优化方向进行评估和确定。
牵头解决数据中心建设中的核心技术难点,如海量数据存储性能瓶颈、高并发数据服务稳定性问题、实时/离线数据融合方案等。
2)数据服务与组件深化开发
负责核心数据服务的架构设计,指导团队完成RESTful API、RPC接口的开发,保障接口的高性能、高扩展性。
主导大数据组件的二次开发与深度调优,例如Kafka消息积压治理、hive小文件合并处理、海量数据查询笛卡尔积深度优化、flink流任务谓词下推导致的数据不一致问题优化、PostgreSQL分库分表方案落地。
参与数据资产管理平台、任务调度系统等核心后台系统的方案设计,把控核心模块的开发质量。
3)团队指导与技术沉淀
指导中级、初级工程师的开发工作,参与代码评审,规范团队编码标准与技术方案。
沉淀数据中心建设的技术方法论,输出组件调优手册、架构设计规范、故障排查指南等文档。
跟踪大数据领域前沿技术(如Flink实时计算、湖仓一体架构),引入成熟方案优化现有数据中心架构。
4)跨团队协作与方案落地
与业务部门、运维团队、数据分析团队深度协作,梳理业务数据需求,推动数据链路打通与数据质量提升。
参与重大项目的立项与评审,保障技术方案的可行性与合理性。
1)硬性技能要求
编程语言与架构:5年及以上Java后台开发经验,精通Java基础(集合、多线程、JVM调优、IO/NIO),深入理解Spring Boot、Spring Cloud微服务架构原理,具备微服务架构设计与调优经验。
大数据组件深度经验
a.精通Kafka原理与应用,具备集群架构设计、分区策略优化、消息可靠性保障、⾼并发场景调优实战经验,能独⽴解决Kafka消息积压、重复消费、分区不均等问题。
b.精通hive/PostgreSQL/clickhouse,具备分布式表设计、索引优化、查询性能调优、分库分表⽅案落地经验,能针对TB级数据场景设计高效存储与查询方案。
c.熟悉Hadoop、Spark、Flink等计算框架,具备实时/离线数据处理、ETL架构设计经验者优先。
技术能⼒:精通Linux系统,熟练使用Shell/Python脚本进行运维自动化与数据处理;具备扎实的数据库建模能力,理解数仓分层(ODS/DWD/DWS/ADS)设计理念;具备分布式系统问题排查能力,能通过日志、监控定位并解决性能瓶颈、稳定性问题。
工程化能力:精通Git、Maven/Gradle,熟悉CI/CD流程,具备自动化部署、容器化(Docker/K8s)经验者优先;具备良好的代码评审能力,能识别代码中的性能、安全、扩展性问题。
2)软技能要求
具备极强的需求分析与逻辑思维能力,能将复杂业务需求转化为清晰的技术方案。
具备优秀的跨团队沟通协调能力,能推动跨部门项目落地。
具备技术领导力,能带领团队攻克技术难点,推动技术创新与沉淀。
具备前瞻性思维,能预判技术风险并制定应对方案。
核心岗位职责
1)架构设计与技术决策
主导数据中心整体技术架构设计,包括数据链路(采集-存储-计算-服务)、微服务架构、大数据组件集群架构,输出架构设计文档并推动落地。
负责技术选型决策,针对Kafka、hive、PostgreSQL、flink、clickhouse等组件的集群部署、高可用方案、性能优化方向进行评估和确定。
牵头解决数据中心建设中的核心技术难点,如海量数据存储性能瓶颈、高并发数据服务稳定性问题、实时/离线数据融合方案等。
2)数据服务与组件深化开发
负责核心数据服务的架构设计,指导团队完成RESTful API、RPC接口的开发,保障接口的高性能、高扩展性。
主导大数据组件的二次开发与深度调优,例如Kafka消息积压治理、hive小文件合并处理、海量数据查询笛卡尔积深度优化、flink流任务谓词下推导致的数据不一致问题优化、PostgreSQL分库分表方案落地。
参与数据资产管理平台、任务调度系统等核心后台系统的方案设计,把控核心模块的开发质量。
3)团队指导与技术沉淀
指导中级、初级工程师的开发工作,参与代码评审,规范团队编码标准与技术方案。
沉淀数据中心建设的技术方法论,输出组件调优手册、架构设计规范、故障排查指南等文档。
跟踪大数据领域前沿技术(如Flink实时计算、湖仓一体架构),引入成熟方案优化现有数据中心架构。
4)跨团队协作与方案落地
与业务部门、运维团队、数据分析团队深度协作,梳理业务数据需求,推动数据链路打通与数据质量提升。
参与重大项目的立项与评审,保障技术方案的可行性与合理性。
2026-06-11 13:58
IP属地:贵州贵阳
职位福利
本科5-10年Java大数据经验HiveMySQLHadoopKafkaSparkSpringOracle

德科信息有限公司
不需要融资 · 1000-9999人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
java开发工程师(工作地点:贵阳)
1-2万元/月
Java5-10年本科JavaScriptSpringMySQLOracleSQLServerSPRING CLOUDPDM
贵阳 花溪区







