广州·番禺区
职位详情
岗位职责
1. 负责抖音、小红书等社交类APP及WEB端平台的数据采集工作，完成数据清洗、结构化转换与存储任务，并持续维护和优化爬虫系统运行。
2. 深入分析主流平台反爬机制，综合运用验证码识别、防护逻辑逆向、JS混淆还原等技术手段突破限制，具备处理复杂反爬策略的实际能力。
3. 承担独立及分布式爬虫系统的设计、开发、迭代与维护工作，提升系统性能与稳定性，确保数据抓取的高效性与可靠性。
4. 熟练使用正则表达式、XPath等技术进行信息提取，对获取数据实施深度清洗与管理，保障数据处理的准确性与完整性。
5. 实现APP逆向采集、浏览器自动化模拟等技术方案，提升数据抓取效率与覆盖范围。
6. 编写规范的技术文档，为团队成员提供开发支持与技术协作。
任职要求
1. 本科及以上学历，计算机科学、软件工程或相关专业优先。
2. 精通Python语言及爬虫全流程开发，熟练掌握JS逆向技术，可独立完成多种类型爬虫任务。
3. 具备抖音、头条、Tiktok、小红书、快手、蝴蝶号等任一平台逆向经验者优先；若长期研究平台风控体系并能有效应对相关挑战者更佳。
4. 理解JSVMP运行机制，能够通过跟栈、日志输出、插桩等方式分析平台请求头、Cookies等参数生成逻辑，具备补环境或纯算法还原加密参数的能力。
5. 熟悉md5、sm3、sm4、AES等前端常见加密算法，了解WASM原理并可通过调用栈解析加密流程。
6. 了解滑块、点选、谷歌验证码等主流验证码类型，具备相应的识别与应对解决方案。
7. 掌握APP运行机制与逆向分析方法，能使用Jadx-gui等工具进行Java层参数解析，并通过Hook脚本实现代码逻辑追踪。
8. 熟练操作各类抓包与逆向工具，善于结合AI技术解决实际问题，具备自主学习能力，能快速落地新技术。
9. 了解quic、ssl等协议层面的抓包与反爬机制，具备快速定位和解决网络层问题的能力。
10. 精通Python开发，同时掌握Node.js、Java等至少一种其他编程语言。
11. 熟练使用Scrapy、BeautifulSoup、Selenium等主流爬虫框架，有丰富的框架定制与维护经验。
12. 熟悉MySQL、MongoDB、Redis等常用数据库的使用与性能调优，具备实际项目应用经验。
13. 掌握大规模数据采集、清洗、去重、分类等核心技术，具备数据质量判断与无效信息过滤能力。
14. 具备良好的沟通能力和团队合作意识，能与产品、运维等多方协同工作，准确理解并实现业务需求。
1. 负责抖音、小红书等社交类APP及WEB端平台的数据采集工作，完成数据清洗、结构化转换与存储任务，并持续维护和优化爬虫系统运行。
2. 深入分析主流平台反爬机制，综合运用验证码识别、防护逻辑逆向、JS混淆还原等技术手段突破限制，具备处理复杂反爬策略的实际能力。
3. 承担独立及分布式爬虫系统的设计、开发、迭代与维护工作，提升系统性能与稳定性，确保数据抓取的高效性与可靠性。
4. 熟练使用正则表达式、XPath等技术进行信息提取，对获取数据实施深度清洗与管理，保障数据处理的准确性与完整性。
5. 实现APP逆向采集、浏览器自动化模拟等技术方案，提升数据抓取效率与覆盖范围。
6. 编写规范的技术文档，为团队成员提供开发支持与技术协作。
任职要求
1. 本科及以上学历，计算机科学、软件工程或相关专业优先。
2. 精通Python语言及爬虫全流程开发，熟练掌握JS逆向技术，可独立完成多种类型爬虫任务。
3. 具备抖音、头条、Tiktok、小红书、快手、蝴蝶号等任一平台逆向经验者优先；若长期研究平台风控体系并能有效应对相关挑战者更佳。
4. 理解JSVMP运行机制，能够通过跟栈、日志输出、插桩等方式分析平台请求头、Cookies等参数生成逻辑，具备补环境或纯算法还原加密参数的能力。
5. 熟悉md5、sm3、sm4、AES等前端常见加密算法，了解WASM原理并可通过调用栈解析加密流程。
6. 了解滑块、点选、谷歌验证码等主流验证码类型，具备相应的识别与应对解决方案。
7. 掌握APP运行机制与逆向分析方法，能使用Jadx-gui等工具进行Java层参数解析，并通过Hook脚本实现代码逻辑追踪。
8. 熟练操作各类抓包与逆向工具，善于结合AI技术解决实际问题，具备自主学习能力，能快速落地新技术。
9. 了解quic、ssl等协议层面的抓包与反爬机制，具备快速定位和解决网络层问题的能力。
10. 精通Python开发，同时掌握Node.js、Java等至少一种其他编程语言。
11. 熟练使用Scrapy、BeautifulSoup、Selenium等主流爬虫框架，有丰富的框架定制与维护经验。
12. 熟悉MySQL、MongoDB、Redis等常用数据库的使用与性能调优，具备实际项目应用经验。
13. 掌握大规模数据采集、清洗、去重、分类等核心技术，具备数据质量判断与无效信息过滤能力。
14. 具备良好的沟通能力和团队合作意识，能与产品、运维等多方协同工作，准确理解并实现业务需求。
2026-06-26 13:28
IP属地：广东广州
职位福利
本科5-10年
广州轻舟智能信息有限公司
未融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
