广州·海珠区
职位详情
【岗位职责】
1.负责大型 APP 的数据采集体系全流程搭建、设计、开发与长期稳定运行，主导采集架构的规划、迭代与优化，确保架构适配采集需求。
2.独立攻克 APP 端各类高难度反爬机制，包括签名算法、设备校验、账号风控、模拟器检测、双向证书校验等，主导反爬对抗策略的设计、落地与持续迭代，应对平台风控升级，保障采集连续性。
3.设计与维护分布式、高可用、可监控的爬虫架构，统筹任务调度、代理池、设备池、账号池的搭建与优化，实现异常自愈、故障快速排查，保障采集效率与稳定性。
4.参与数据清洗全流程工作，处理脏数据、冗余数据、异常数据，完成数据标准化处理，输出高质量结构化数据。
5.参与数据分析工作，结合采集数据，分析数据缺失、异常波动原因，输出数据质量报告，为采集策略优化、业务决策提供数据支撑；挖掘餐饮数据潜在价值，辅助业务需求落地。
【任职要求】
1.计算机相关专业本科及以上学历，五年以上数据类工作经验，其中三年以上专职爬虫开发经验，必须有大型 APP 稳定采集实战项目，熟悉至少一种主流爬虫框架：Scrapy / Airtest / Playwright + ADB。
2.精通 APP 抓包与逆向：
① 抓包：熟练使用 Charles、Fiddler、HttpCanary，掌握 VPN 抓包、HTTPS 证书绕过技巧，能高效捕获餐饮 APP 核心接口流量。
② 脱壳：精通 Android 各类加固脱壳、反编译、重打包流程，能应对餐饮 APP 常见加固方式。
③ Hook：熟练运用 Frida、Xposed、InlineHook ，能快速定位核心逻辑。
④ 能独立定位并还原 sign/token/device_id/session 等核心加密算法，结合餐饮 APP 接口特点，高效完成算法还原与落地。
3.熟悉反爬对抗：
① 精通 IP 封禁、频率限制、设备指纹、行为风控、账号风控的对抗方法，能结合餐饮 APP 采集场景（高频采集门店、菜品数据）制定针对性对抗策略。
② 熟悉模拟器检测、Root 检测、多开检测、环境检测的绕过技巧，能搭建稳定的采集环境。
4.具备较强的工程化爬虫架构能力：
① 能独立设计并搭建分布式爬虫架构，统筹任务调度、去重策略、重试机制的设计与优化，实现全链路监控告警。
② 能根据餐饮数据采集需求，优化代理池、设备池、账号池的配置，提升架构可用性与采集效率。
5.具备采集规则、数据清洗规则的设计能力，制定科学、高效的规则，解决数据冗余、异常等问题。
6.具备基础数据分析能力，能进行数据统计、异常分析，输出数据质量报告，能结合分析结果优化采集与清洗策略。
【优先条件】
有大型 APP 稳定采集经验，了解端安全、加固、壳代码、SO 逆向、ARM 汇编，熟悉小程序反编译、Web JS 混淆、AST 还原、RPC 接口采集，能拓展餐饮相关小程序、H5 页面的数据采集能力者加分。
有爬虫平台化、配置化、可视化后台开发经验，能实现采集规则、反爬策略可视化配置者优先。
有数据治理、数据分析相关经验，能深度挖掘餐饮采集数据价值，为业务提供支撑者优先。
1.负责大型 APP 的数据采集体系全流程搭建、设计、开发与长期稳定运行，主导采集架构的规划、迭代与优化，确保架构适配采集需求。
2.独立攻克 APP 端各类高难度反爬机制，包括签名算法、设备校验、账号风控、模拟器检测、双向证书校验等，主导反爬对抗策略的设计、落地与持续迭代，应对平台风控升级，保障采集连续性。
3.设计与维护分布式、高可用、可监控的爬虫架构，统筹任务调度、代理池、设备池、账号池的搭建与优化，实现异常自愈、故障快速排查，保障采集效率与稳定性。
4.参与数据清洗全流程工作，处理脏数据、冗余数据、异常数据，完成数据标准化处理，输出高质量结构化数据。
5.参与数据分析工作，结合采集数据，分析数据缺失、异常波动原因，输出数据质量报告，为采集策略优化、业务决策提供数据支撑；挖掘餐饮数据潜在价值，辅助业务需求落地。
【任职要求】
1.计算机相关专业本科及以上学历，五年以上数据类工作经验，其中三年以上专职爬虫开发经验，必须有大型 APP 稳定采集实战项目，熟悉至少一种主流爬虫框架：Scrapy / Airtest / Playwright + ADB。
2.精通 APP 抓包与逆向：
① 抓包：熟练使用 Charles、Fiddler、HttpCanary，掌握 VPN 抓包、HTTPS 证书绕过技巧，能高效捕获餐饮 APP 核心接口流量。
② 脱壳：精通 Android 各类加固脱壳、反编译、重打包流程，能应对餐饮 APP 常见加固方式。
③ Hook：熟练运用 Frida、Xposed、InlineHook ，能快速定位核心逻辑。
④ 能独立定位并还原 sign/token/device_id/session 等核心加密算法，结合餐饮 APP 接口特点，高效完成算法还原与落地。
3.熟悉反爬对抗：
① 精通 IP 封禁、频率限制、设备指纹、行为风控、账号风控的对抗方法，能结合餐饮 APP 采集场景（高频采集门店、菜品数据）制定针对性对抗策略。
② 熟悉模拟器检测、Root 检测、多开检测、环境检测的绕过技巧，能搭建稳定的采集环境。
4.具备较强的工程化爬虫架构能力：
① 能独立设计并搭建分布式爬虫架构，统筹任务调度、去重策略、重试机制的设计与优化，实现全链路监控告警。
② 能根据餐饮数据采集需求，优化代理池、设备池、账号池的配置，提升架构可用性与采集效率。
5.具备采集规则、数据清洗规则的设计能力，制定科学、高效的规则，解决数据冗余、异常等问题。
6.具备基础数据分析能力，能进行数据统计、异常分析，输出数据质量报告，能结合分析结果优化采集与清洗策略。
【优先条件】
有大型 APP 稳定采集经验，了解端安全、加固、壳代码、SO 逆向、ARM 汇编，熟悉小程序反编译、Web JS 混淆、AST 还原、RPC 接口采集，能拓展餐饮相关小程序、H5 页面的数据采集能力者加分。
有爬虫平台化、配置化、可视化后台开发经验，能实现采集规则、反爬策略可视化配置者优先。
有数据治理、数据分析相关经验，能深度挖掘餐饮采集数据价值，为业务提供支撑者优先。
2026-03-26 14:50
IP属地：广东
职位福利
本科5-10年APP数据采集JS逆向数据清洗ScrapyAirtest
广东红餐科技有限公司
A轮 · 20-99人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
