广州·海珠区
职位详情
岗位职责：
* 负责从社交媒体类APP及WEB端（如抖音、小红书等）采集数据，完成数据清洗、结构化转换与入库操作，并持续运维和优化爬虫系统。
* 深入分析主流平台的反爬机制，具备解决复杂反爬策略的实际能力，涵盖验证码识别、防护逻辑逆向、JS混淆还原等技术场景。
* 构建、迭代和维护单机及分布式爬虫架构，持续提升爬虫系统的性能与稳定性，保障数据抓取的高效与可靠。
* 对获取的数据进行深度处理与管理，熟练运用信息提取技术（如正则表达式、XPath、CSS选择器、BeautifulSoup等），确保数据准确完整。
* 实现自动化程序控制，包括APP逆向抓包、浏览器模拟请求等手段，提升数据采集效率。
* 编写规范的技术文档，为团队成员提供开发支持与技术协助。
任职要求：
* 计算机科学、软件工程或相关专业本科及以上学历。
* 精通Python编程，同时具备Node.js、Java中至少一种其他语言的开发经验。
* 熟练使用主流爬虫框架（如Scrapy、BeautifulSoup、Selenium等），有实际的框架搭建与维护经历。
* 掌握APP逆向解析、浏览器自动化采集、JS逆向等相关技能，能灵活运用多种抓包与逆向工具（如Apktool、dex2jar、JD-GUI、Frida、IDA等）。
* 了解常见反爬应对方案（如IP封禁、图形验证码、滑动验证、账号管控等），具有实际处理经验。
* 熟练掌握数据抽取方法，包括正则表达式、XPath、CSS选择器、BeautifulSoup等；可编写高命中率的正则规则。
* 熟悉常用数据库的操作与调优，有MySQL、MongoDB、Redis等数据库的实际项目经验。
* 具备大规模数据采集、清洗、去重、分类等处理能力，能够识别低质内容并过滤无效数据。
* 具有良好的沟通意识和协作精神，能与产品、运维等多方团队协同工作，准确理解并落地业务需求。
* 负责从社交媒体类APP及WEB端（如抖音、小红书等）采集数据，完成数据清洗、结构化转换与入库操作，并持续运维和优化爬虫系统。
* 深入分析主流平台的反爬机制，具备解决复杂反爬策略的实际能力，涵盖验证码识别、防护逻辑逆向、JS混淆还原等技术场景。
* 构建、迭代和维护单机及分布式爬虫架构，持续提升爬虫系统的性能与稳定性，保障数据抓取的高效与可靠。
* 对获取的数据进行深度处理与管理，熟练运用信息提取技术（如正则表达式、XPath、CSS选择器、BeautifulSoup等），确保数据准确完整。
* 实现自动化程序控制，包括APP逆向抓包、浏览器模拟请求等手段，提升数据采集效率。
* 编写规范的技术文档，为团队成员提供开发支持与技术协助。
任职要求：
* 计算机科学、软件工程或相关专业本科及以上学历。
* 精通Python编程，同时具备Node.js、Java中至少一种其他语言的开发经验。
* 熟练使用主流爬虫框架（如Scrapy、BeautifulSoup、Selenium等），有实际的框架搭建与维护经历。
* 掌握APP逆向解析、浏览器自动化采集、JS逆向等相关技能，能灵活运用多种抓包与逆向工具（如Apktool、dex2jar、JD-GUI、Frida、IDA等）。
* 了解常见反爬应对方案（如IP封禁、图形验证码、滑动验证、账号管控等），具有实际处理经验。
* 熟练掌握数据抽取方法，包括正则表达式、XPath、CSS选择器、BeautifulSoup等；可编写高命中率的正则规则。
* 熟悉常用数据库的操作与调优，有MySQL、MongoDB、Redis等数据库的实际项目经验。
* 具备大规模数据采集、清洗、去重、分类等处理能力，能够识别低质内容并过滤无效数据。
* 具有良好的沟通意识和协作精神，能与产品、运维等多方团队协同工作，准确理解并落地业务需求。
2026-05-17 14:07
IP属地：广东广州
职位福利
本科5-10年爬虫数据清洗Python
广州筷子信息科技有限公司
B轮 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
