大数据技术合伙人

1.8-3万元/月

闵行区

王女士

已实名

企业认证

北极鸥人工智能科技(上海)有限公司

职位详情

技术总监

大数据开发工程师（O2O实时数仓、搜索/查询、即时数据同步）
工作地点：[上海.七宝]

岗位职责
1.AI数据基座建设及多系统整体架构兼容设计。
- 从0数仓搭建，搭建PB级HR垂直领域数据湖，支持数字人行为分析、AI匹配等AI场景的毫秒级响应
- 设计多模态数据融合架构，实现文本、音视频、用户行为日志的统一存储与跨源计算
-兼容企业级SaaS、视频直播社交、AI等多套系统整体架构兼容。
2.实时数据工程开发
- 开发高并发实时计算管道，支撑AI场景的即时反馈需求（如：情绪分析数据流、实时推荐引擎）、IM、实时数据同步及展示。
- 构建基于Flink/Spark Streaming的流式处理平台，实现HR行为数据10s内触达AI决策模型
3. 数据资产化落地
- 主导人才能力图谱、企业用人偏好模型等数据产品的ETL开发，输出可直接驱动AI训练的标准化数据集
- 开发自动化数据服务中间件，支持AI团队一键获取清洗后的垂类训练数据
4.技术攻坚与优化
- 突破亿级人才库毫秒级检索瓶颈，优化Elasticsearch集群在非结构化数据场景的查询性能
- 设计成本最优的冷热数据分层存储方案，在保证SLA前提下降低30%+存储成本
5.团队管理与技术支持管理
-能高效管理各类语言技术团队的开发、工作任务分配合理性、OKR把控项目按期完成。

任职要求
1.5年以上大数据开发经验及2年以上团队管理经验，精通Hadoop/Spark/Flink生态体系，有日处理TB级数据项目实战 - 掌握Kafka+Redis高可用实时计算架构设计，至少主导过1个完整流式计算项目落地 - 熟练使用Java/Scala进行分布式系统开发，具备Python数据建模基础能力 - 熟悉云原生数据架构（AWS EMR/Azure HDInsight或同类技术）
2.有AI平台数据支撑经验，熟悉特征工程、模型训练数据管道开发 ; - 主导过IM、实时查询/搜索/展示、人才/社交网络领域的大数据建设项目 ; - 持有CDP/CCIE Data Center等大数据认证 ;
3 -能平衡技术先进性与落地成本，拒绝"为技术而技术；
- 能从HR发布的岗位需求中逆向推导数据架构痛点 ;
- 持续关注Delta Lake/Data Mesh等前沿数据架构演进；
4-2年以上团队管理经验，OKR有效把控整体团队分工、高效开发、按期完成项目开发目标。

2026-06-23 13:29

IP属地：上海

职位福利

硕士10年以上互联网/AI互联网O2O架构视频直播架构团队管理能力大数据架构团队管理经验及能力