职位详情
1. 学历:计算机、软件工程、数据科学或相关专业,本科及以上学历。
2. 经验:具有3年以上大数据平台开发或数据工程领域工作经验。
3. 技术能力:
· 精通Python编程,熟练运用Spark进行开发,并具备Spark SQL性能调优能力。
· 熟练使用Docker进行应用打包,了解Kubernetes的基本部署及资源调度机制。
· 掌握至少一种Python Web框架,能够基于FastAPI或Flask构建数据服务接口。
· 熟悉Hive、StarRocks、PostgreSQL等常用数据库系统。
· 具备基础的数据仓库设计能力,理解数据分层模型(如原始层、明细层、汇总层)的设计理念。
优先考虑条件:
1. 具备StarRocks数据库实际使用及性能优化经验。
2. 熟悉Kafka消息队列或Flink实时计算框架。
3. 对数据资产管理、数据链路追踪、数据质量保障体系有一定认知。
岗位职责:
1. 参与公司数据平台后端服务开发,负责数据应用模块、任务调度系统、数据质量校验等功能的实现与维护。
2. 使用Docker对数据处理任务进行容器化封装,结合Kubernetes实现自动化部署与弹性资源管理。
3. 负责构建高可用、可扩展的数据处理流程,涵盖定时批处理与实时数据处理场景。
4. 基于Spark和Hive等大数据组件,开发并维护大规模数据抽取、转换与加载流程,支撑企业级数据仓库与数据平台建设。
5. 针对数据处理任务开展性能调优,解决处理延迟高、资源占用不均衡等关键问题。
2. 经验:具有3年以上大数据平台开发或数据工程领域工作经验。
3. 技术能力:
· 精通Python编程,熟练运用Spark进行开发,并具备Spark SQL性能调优能力。
· 熟练使用Docker进行应用打包,了解Kubernetes的基本部署及资源调度机制。
· 掌握至少一种Python Web框架,能够基于FastAPI或Flask构建数据服务接口。
· 熟悉Hive、StarRocks、PostgreSQL等常用数据库系统。
· 具备基础的数据仓库设计能力,理解数据分层模型(如原始层、明细层、汇总层)的设计理念。
优先考虑条件:
1. 具备StarRocks数据库实际使用及性能优化经验。
2. 熟悉Kafka消息队列或Flink实时计算框架。
3. 对数据资产管理、数据链路追踪、数据质量保障体系有一定认知。
岗位职责:
1. 参与公司数据平台后端服务开发,负责数据应用模块、任务调度系统、数据质量校验等功能的实现与维护。
2. 使用Docker对数据处理任务进行容器化封装,结合Kubernetes实现自动化部署与弹性资源管理。
3. 负责构建高可用、可扩展的数据处理流程,涵盖定时批处理与实时数据处理场景。
4. 基于Spark和Hive等大数据组件,开发并维护大规模数据抽取、转换与加载流程,支撑企业级数据仓库与数据平台建设。
5. 针对数据处理任务开展性能调优,解决处理延迟高、资源占用不均衡等关键问题。
2026-05-24 12:34
IP属地:湖北武汉
职位福利
本科1-3年FlaskMySQL

深圳市法本信息技术股份有限公司
已上市 · 10000人以上

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >










