广州·番禺区
职位详情
我们诚邀具备丰富经验的数据爬取与数据治理工程师加入大模型数据团队，共同打造高质量、结构化且合规的数据采集与治理体系，为大模型及智能应用提供坚实的数据基础。
岗位职责：
1、承担大模型训练所需网络数据的采集工作，涵盖文本、网页等多种内容类型；
2、构建高效、可扩展的网页解析系统与异步爬虫架构；
3、设计并落地数据清洗、内容筛选、质量评估等自动化治理流程；
4、协同模型研发、数据标注、运维等多部门推进数据闭环建设。
岗位要求：
1、本科及以上学历，具备两年以上数据爬虫与治理相关工作经验；
2、精通Python编程，具有扎实的系统设计与工程实现能力；
3、掌握主流爬虫工具（如Scrapy、Playwright、Selenium、Requests等）及分布式爬虫技术；
4、熟悉Linux环境下的开发与部署流程，了解常用容器化技术（如Docker）；
5、熟练运用常见数据处理框架（如Pandas、Spark、Airflow等）；
6、拥有百万级网页抓取经历或参与过大型数据治理项目者优先。
岗位职责：
1、承担大模型训练所需网络数据的采集工作，涵盖文本、网页等多种内容类型；
2、构建高效、可扩展的网页解析系统与异步爬虫架构；
3、设计并落地数据清洗、内容筛选、质量评估等自动化治理流程；
4、协同模型研发、数据标注、运维等多部门推进数据闭环建设。
岗位要求：
1、本科及以上学历，具备两年以上数据爬虫与治理相关工作经验；
2、精通Python编程，具有扎实的系统设计与工程实现能力；
3、掌握主流爬虫工具（如Scrapy、Playwright、Selenium、Requests等）及分布式爬虫技术；
4、熟悉Linux环境下的开发与部署流程，了解常用容器化技术（如Docker）；
5、熟练运用常见数据处理框架（如Pandas、Spark、Airflow等）；
6、拥有百万级网页抓取经历或参与过大型数据治理项目者优先。
2026-10-07 14:43
IP属地：广东广州
职位福利
本科1-3年Airflow爬虫pythonLinuxDocker数据抓取数据清洗Panda
广州科奥信息技术股份有限公司
A轮 · 100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
