职位详情
工作职责:
1. 负责Web页面数据与接口的采集任务,涵盖动态页面、API接口及小程序端的数据抓取,保障数据获取的准确性与时效性。
2. 构建并维护小程序接口采集系统,优化数据链路结构,提升采集效率与数据质量。
3. 开发和运维现有爬虫架构,覆盖任务调度、数据抓取、系统维护、结果校验等全流程工作。
4. 深入研究各类网站的防护机制与反爬策略,总结核心技术应对方案。
5. 具备处理协议层反爬、风控拦截、人机验证等复杂场景的能力。
6. 攻克爬虫技术中的关键难题,推动系统稳定性与性能提升。
7. 编写相关技术文档,确保系统与代码具备良好的可读性和可维护性。
任职要求:
1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架,具备小程序数据采集实践经验;
2. 精通JavaScript逆向分析、虚拟机机制、代码混淆技术、抽象语法树(AST)等方法,有实际的小程序包解包、反编译及接口逆向经验;
3. 掌握常见反爬应对策略,包括验证码识别、IP代理池管理、headers认证、cookie处理等技术;
4. 能够解析网络通信链路,具备TLS/HTTP2协议流量识别、IP特征分析等问题的解决能力;
5. 了解基础机器学习算法,可用于简单图像验证码识别及人机对抗场景的处理;
6. 熟练使用Redis、MySQL、git等常用中间件与开发工具;
1. 负责Web页面数据与接口的采集任务,涵盖动态页面、API接口及小程序端的数据抓取,保障数据获取的准确性与时效性。
2. 构建并维护小程序接口采集系统,优化数据链路结构,提升采集效率与数据质量。
3. 开发和运维现有爬虫架构,覆盖任务调度、数据抓取、系统维护、结果校验等全流程工作。
4. 深入研究各类网站的防护机制与反爬策略,总结核心技术应对方案。
5. 具备处理协议层反爬、风控拦截、人机验证等复杂场景的能力。
6. 攻克爬虫技术中的关键难题,推动系统稳定性与性能提升。
7. 编写相关技术文档,确保系统与代码具备良好的可读性和可维护性。
任职要求:
1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架,具备小程序数据采集实践经验;
2. 精通JavaScript逆向分析、虚拟机机制、代码混淆技术、抽象语法树(AST)等方法,有实际的小程序包解包、反编译及接口逆向经验;
3. 掌握常见反爬应对策略,包括验证码识别、IP代理池管理、headers认证、cookie处理等技术;
4. 能够解析网络通信链路,具备TLS/HTTP2协议流量识别、IP特征分析等问题的解决能力;
5. 了解基础机器学习算法,可用于简单图像验证码识别及人机对抗场景的处理;
6. 熟练使用Redis、MySQL、git等常用中间件与开发工具;
2026-07-02 13:47
IP属地:四川成都
职位福利
大专3-5年Python反爬虫爬虫开发数据采集

四川柒零卡科技有限公司
未融资 · 20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >










