广州·越秀区
职位详情
工作职责1、设计并实施高可用的数据采集系统，从多样化的公开及私有源（如网页、代码库、学术论文、书籍等）中合法、合规地获取海量多模态数据。
2、构建和优化自动化数据流水线，利用规则、启发式算法和机器学习模型（如嵌入、聚类、分类）进行数据去重、毒性过滤、质量筛选和内容分类。
3、搭建、维护和优化支持PB级数据存储、处理和分析的高性能、分布式数据平台与流水线（基于Spark,Flink等）。
4、建立严格的数据质量评估体系，通过自动化监控和人工评估相结合，持续迭代提升数据集的质量，并与算法团队协作分析数据对模型性能的影响。
5、与研究人员、算法工程师紧密合作，深入理解模型需求，探索和创新数据处理的技术与方法，以解锁模型的新能力。
基本要求：
1、本科以上学历，计算机相关专业，3年以上开发经验，熟悉合法合规的数据获取机制和方法，熟悉数据过滤清洗、质量提升等算法和流程，有大数据或大模型相关从业经验者优先；
2、熟练掌握java、scala或python等编程语言，拥有spark/hadoop开发经验，深入理解大规模分布式数据处理流程；
3、精通互联网协议、熟悉正则表达式，熟悉数据挖掘和搜索引擎相关知识技能，具备开发网络爬虫、处理网页信息等工作经验；
4、对新技术保持好奇心，同时具有良好的沟通、学习和分析解决问题能力。
2、构建和优化自动化数据流水线，利用规则、启发式算法和机器学习模型（如嵌入、聚类、分类）进行数据去重、毒性过滤、质量筛选和内容分类。
3、搭建、维护和优化支持PB级数据存储、处理和分析的高性能、分布式数据平台与流水线（基于Spark,Flink等）。
4、建立严格的数据质量评估体系，通过自动化监控和人工评估相结合，持续迭代提升数据集的质量，并与算法团队协作分析数据对模型性能的影响。
5、与研究人员、算法工程师紧密合作，深入理解模型需求，探索和创新数据处理的技术与方法，以解锁模型的新能力。
基本要求：
1、本科以上学历，计算机相关专业，3年以上开发经验，熟悉合法合规的数据获取机制和方法，熟悉数据过滤清洗、质量提升等算法和流程，有大数据或大模型相关从业经验者优先；
2、熟练掌握java、scala或python等编程语言，拥有spark/hadoop开发经验，深入理解大规模分布式数据处理流程；
3、精通互联网协议、熟悉正则表达式，熟悉数据挖掘和搜索引擎相关知识技能，具备开发网络爬虫、处理网页信息等工作经验；
4、对新技术保持好奇心，同时具有良好的沟通、学习和分析解决问题能力。
2025-12-16 11:15
IP属地：广东广州
职位福利
本科3-5年不接受居家办公接受无前端经验/技能Java
粤港澳大湾区(广东)国创中心
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
1-1.5万/月
Java3-5年本科Nginx不接受居家办公分布式经验SpringCloudKafkaAi大数据经验音视频经验微服务经验大模型接入MySQL在线教育架构设计经验Oracle
广州 越秀区
1.2-1.5万/月
Java3-5年本科Nginx不接受居家办公分布式经验SpringCloudKafkaAi大数据经验音视频经验微服务经验大模型接入MySQL在线教育架构设计经验Oracle
广州 越秀区
收藏职位
