职位详情
一、岗位职责:
1. 主导基于云原生技术(K8s+ECS)构建高并发、低延迟的大数据平台架构,并完成方案验证,支持智营平台在实时数据分析、用户画像、AI智能分析及业务自动化等核心场景的落地;
2. 主导数据分层体系(ODS/DWD/DWB/DWS/ADS)的整体规划,设计流批融合处理架构(如Flink+Kafka+ClickHouse/ByteHouse),实现统一数据处理能力;
3. 负责搭建平台核心技术骨架,建设高效实时数据链路,包括基于Flink实现复杂事件处理(CEP)、实时ETL与流式聚合计算,主导ClickHouse/ByteHouse集群部署、性能调优与高可用架构设计,推进湖仓一体化方案落地,整合对象存储(如营销素材)与云上数仓系统;
4. 推动平台性能与资源成本双优化,主导PB级数据规模下的查询加速策略(如ClickHouse物化视图、分布式表结构优化),实施计算资源弹性伸缩(K8s+HPA),合理平衡SLA目标与资源开销;
5. 主导技术风险防控体系建设,制定并推行数据治理规范(含元数据管理、数据血缘追踪、质量监控机制),落实数据合规性要求,设计灾备恢复与历史数据回溯机制;
6. 协同跨职能团队合作,联合AI团队共建特征工程平台与模型服务框架(如Flink ML结合在线推理服务),为业务侧提供稳定高效的实时数据API能力。
二、任职要求:
1. 具备5年以上大数据架构相关工作经验,完整参与过至少2个从零到一的大数据平台建设项目;
2. 能通过架构图清晰呈现复杂系统结构(涵盖数据流转路径、容灾策略、安全边界),具备扎实的技术选型评估能力(如StarRocks与ClickHouse对比分析),擅长撰写技术白皮书及标准操作流程文档,推动研发规范执行落地;
3. 熟练掌握流式处理技术:精通Flink(需掌握State管理与Checkpoint机制)、Kafka(熟悉ISR机制调优);
4. 深入理解云原生数仓技术:熟练使用ClickHouse(了解MergeTree引擎优化技巧)、ByteHouse(掌握其云原生特性);
5. 熟悉主流云平台服务:熟练运用K8s(包括Helm/Operator部署方式),掌握如火山引擎等相关大数据产品;
6. 精通数据集成工具链:熟练使用Airflow或DolphinScheduler,掌握Debezium等CDC同步工具;
7. 具备百亿级以上ClickHouse数据集的查询性能优化实战经验(涵盖索引设计、JOIN策略改进);
8. 熟悉Flink反压问题处理、Kafka分区再平衡机制、K8s资源配额配置等典型调优场景;
9. 有将大数据组件容器化部署的实际经验(如Flink on K8s部署、Prometheus监控告警集成);
10. 了解Serverless架构在数据处理场景中的应用实践(如Flink Serverless模式);
11. 具备智能营销平台(如用户行为分析、实时推荐系统)架构实践经验者优先,曾主导ByteHouse替代传统数仓(如Hive)迁移项目者优先,熟悉GPU加速查询(如ClickHouse支持GPU)或向量数据库集成者优先;
12. 具备团队管理经历者优先考虑。
1. 主导基于云原生技术(K8s+ECS)构建高并发、低延迟的大数据平台架构,并完成方案验证,支持智营平台在实时数据分析、用户画像、AI智能分析及业务自动化等核心场景的落地;
2. 主导数据分层体系(ODS/DWD/DWB/DWS/ADS)的整体规划,设计流批融合处理架构(如Flink+Kafka+ClickHouse/ByteHouse),实现统一数据处理能力;
3. 负责搭建平台核心技术骨架,建设高效实时数据链路,包括基于Flink实现复杂事件处理(CEP)、实时ETL与流式聚合计算,主导ClickHouse/ByteHouse集群部署、性能调优与高可用架构设计,推进湖仓一体化方案落地,整合对象存储(如营销素材)与云上数仓系统;
4. 推动平台性能与资源成本双优化,主导PB级数据规模下的查询加速策略(如ClickHouse物化视图、分布式表结构优化),实施计算资源弹性伸缩(K8s+HPA),合理平衡SLA目标与资源开销;
5. 主导技术风险防控体系建设,制定并推行数据治理规范(含元数据管理、数据血缘追踪、质量监控机制),落实数据合规性要求,设计灾备恢复与历史数据回溯机制;
6. 协同跨职能团队合作,联合AI团队共建特征工程平台与模型服务框架(如Flink ML结合在线推理服务),为业务侧提供稳定高效的实时数据API能力。
二、任职要求:
1. 具备5年以上大数据架构相关工作经验,完整参与过至少2个从零到一的大数据平台建设项目;
2. 能通过架构图清晰呈现复杂系统结构(涵盖数据流转路径、容灾策略、安全边界),具备扎实的技术选型评估能力(如StarRocks与ClickHouse对比分析),擅长撰写技术白皮书及标准操作流程文档,推动研发规范执行落地;
3. 熟练掌握流式处理技术:精通Flink(需掌握State管理与Checkpoint机制)、Kafka(熟悉ISR机制调优);
4. 深入理解云原生数仓技术:熟练使用ClickHouse(了解MergeTree引擎优化技巧)、ByteHouse(掌握其云原生特性);
5. 熟悉主流云平台服务:熟练运用K8s(包括Helm/Operator部署方式),掌握如火山引擎等相关大数据产品;
6. 精通数据集成工具链:熟练使用Airflow或DolphinScheduler,掌握Debezium等CDC同步工具;
7. 具备百亿级以上ClickHouse数据集的查询性能优化实战经验(涵盖索引设计、JOIN策略改进);
8. 熟悉Flink反压问题处理、Kafka分区再平衡机制、K8s资源配额配置等典型调优场景;
9. 有将大数据组件容器化部署的实际经验(如Flink on K8s部署、Prometheus监控告警集成);
10. 了解Serverless架构在数据处理场景中的应用实践(如Flink Serverless模式);
11. 具备智能营销平台(如用户行为分析、实时推荐系统)架构实践经验者优先,曾主导ByteHouse替代传统数仓(如Hive)迁移项目者优先,熟悉GPU加速查询(如ClickHouse支持GPU)或向量数据库集成者优先;
12. 具备团队管理经历者优先考虑。
2026-08-08 14:18
IP属地:广东广州
职位福利
本科5-10年数据建模大数据开发

枫车创科技(广东)有限公司
100-499人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
高级数据专家(人工智能/能源)
1.5-2万元/月
数据架构师5-10年本科Java能源要求有数据开发经验Spark数据平台开发经验Flink数据治理经验要求数据开发/架构经验
广州 黄埔区
数据治理专家(架构设计/能源化工领域)
1.6-2.9万元/月
数据架构师5-10年本科Hive要求有数据架构经验数据平台架构经验能源要求有数据开发经验Spark数据平台开发经验Flink数据治理经验要求数据开发/架构经验Python
广州 黄埔区
数据仓库架构师
4.5-7.5万元/月
数据架构师经验不限硕士JavaHive要求有数据架构经验Elasticsearch数据仓库架构经验Spark计算机相关专业Flink要求数据开发/架构经验
深圳 南山区
大数据解决方案架构师
4-6.5万元/月
数据架构师5-10年本科大数据引擎架构经验数据平台架构经验Clickhouse原理/源码Elasticsearch原理/源码Doris/Druid原理/源码HDFSFlink数据治理经验Hive要求有数据架
深圳

先生 · 腾讯5日内活跃







