职位详情
工作职责:
1. 负责Web页面及接口数据的采集工作,涵盖动态网页、API接口以及小程序端的数据抓取,保障数据获取的准确性与实时性。
2. 构建并维护小程序接口采集系统,优化数据抓取流程,提高数据提取效率与质量。
3. 开发和维护现有爬虫架构,包括任务调度、数据抓取、系统维护、结果校验等全流程工作。
4. 深入研究各类网站的防护机制与反爬策略,总结核心技术应对方案。
5. 具备处理协议层反爬、风控策略、人机识别等复杂问题的能力。
6. 攻克爬虫技术中的关键难题,推动系统稳定性和性能提升。
7. 编写相关技术文档,确保系统代码具备良好的可读性和可维护性。
任职要求:
1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架,具备小程序数据采集实际经验;
2. 精通JavaScript逆向分析技术,熟悉虚拟机机制、代码混淆、抽象语法树(AST)等方法,能独立完成小程序包的解析、反编译与接口逆向分析;
3. 掌握常见反爬应对策略,如验证码处理、IP代理池部署、headers与cookie认证管理等;
4. 能够分析网络通信链路,解决TLS/HTTP2协议流量解析、IP特征识别等问题;
5. 了解基础机器学习算法,可用于简单图像验证码识别与人机对抗场景的应对;
6. 熟练使用Redis、MySQL、git等常用中间件与开发工具;
1. 负责Web页面及接口数据的采集工作,涵盖动态网页、API接口以及小程序端的数据抓取,保障数据获取的准确性与实时性。
2. 构建并维护小程序接口采集系统,优化数据抓取流程,提高数据提取效率与质量。
3. 开发和维护现有爬虫架构,包括任务调度、数据抓取、系统维护、结果校验等全流程工作。
4. 深入研究各类网站的防护机制与反爬策略,总结核心技术应对方案。
5. 具备处理协议层反爬、风控策略、人机识别等复杂问题的能力。
6. 攻克爬虫技术中的关键难题,推动系统稳定性和性能提升。
7. 编写相关技术文档,确保系统代码具备良好的可读性和可维护性。
任职要求:
1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架,具备小程序数据采集实际经验;
2. 精通JavaScript逆向分析技术,熟悉虚拟机机制、代码混淆、抽象语法树(AST)等方法,能独立完成小程序包的解析、反编译与接口逆向分析;
3. 掌握常见反爬应对策略,如验证码处理、IP代理池部署、headers与cookie认证管理等;
4. 能够分析网络通信链路,解决TLS/HTTP2协议流量解析、IP特征识别等问题;
5. 了解基础机器学习算法,可用于简单图像验证码识别与人机对抗场景的应对;
6. 熟练使用Redis、MySQL、git等常用中间件与开发工具;
2026-08-16 12:13
IP属地:四川成都
职位福利
大专3-5年Python反爬虫爬虫开发数据采集

四川柒零卡科技有限公司
未融资 · 20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >









