职位详情
岗位职责:
1.负责数据的采集、归类与整理,保障数据质量达到标准要求;
2.参与数据标注方案的规划与执行,提高数据的准确性和稳定性;
3.配合团队推进数据处理流程,确保各环节输出符合质量规范;
4.对数据开展基础分析,输出优化建议以提升整体数据质量。
任职要求:
1.熟练掌握Python语言,理解其基本语法、常用数据结构(如列表、字典、集合)及流程控制语句。能编写高效且结构清晰的代码完成数据操作任务,具备函数式编程和面向对象编程的实际应用能力。
2.面向大模型常见的文本类数据,具备文本预处理能力,包括文本清洗、分词、词性识别和词干还原等操作。熟练运用NLTK(NaturalLanguageToolkit)或SpaCy工具库,实现去除HTML标签、过滤特殊符号以及完成分词和词性标注等功能。
3.对大语言模型(如GPT系列、LLaMA等)所需数据有基本认知,了解训练数据在规模、质量、多样性方面对模型效果的影响。清楚为大模型构建高质量数据集的方法,包括制定标注规则以及应用数据增强技术。
4.具备独立排查和解决数据处理中各类问题的能力,能使用调试工具(如Python的pdb调试器)快速定位代码缺陷。善于通过数据分析结果和程序运行反馈追溯问题成因,并提出合理改进措施。
5.具备一定的AI技术背景,能够借助AI工具辅助完成数据加工与分析工作。
1.负责数据的采集、归类与整理,保障数据质量达到标准要求;
2.参与数据标注方案的规划与执行,提高数据的准确性和稳定性;
3.配合团队推进数据处理流程,确保各环节输出符合质量规范;
4.对数据开展基础分析,输出优化建议以提升整体数据质量。
任职要求:
1.熟练掌握Python语言,理解其基本语法、常用数据结构(如列表、字典、集合)及流程控制语句。能编写高效且结构清晰的代码完成数据操作任务,具备函数式编程和面向对象编程的实际应用能力。
2.面向大模型常见的文本类数据,具备文本预处理能力,包括文本清洗、分词、词性识别和词干还原等操作。熟练运用NLTK(NaturalLanguageToolkit)或SpaCy工具库,实现去除HTML标签、过滤特殊符号以及完成分词和词性标注等功能。
3.对大语言模型(如GPT系列、LLaMA等)所需数据有基本认知,了解训练数据在规模、质量、多样性方面对模型效果的影响。清楚为大模型构建高质量数据集的方法,包括制定标注规则以及应用数据增强技术。
4.具备独立排查和解决数据处理中各类问题的能力,能使用调试工具(如Python的pdb调试器)快速定位代码缺陷。善于通过数据分析结果和程序运行反馈追溯问题成因,并提出合理改进措施。
5.具备一定的AI技术背景,能够借助AI工具辅助完成数据加工与分析工作。
2026-08-28 12:30
IP属地:上海
职位福利
本科经验不限ScrapyPyTorchPandasMySQL机器

上海家瑶网络科技有限公司
不需要融资 · 20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
200-300元/天
Python经验不限本科JavaPyTorchElasticsearchPandasMySQL机器学习经验MongoDBFlask
上海 徐汇区
1.1-2.1万元/月
Python3-5年本科JavaC++Redis模型部署Numpy爬虫经验PyTorchDockerAi大模型PandasMySQLOracleLinux开发/部署经验Kubernet
上海 徐汇区









