深圳·光明区
职位详情
1. 基于Python+Scrapy框架开发高效、稳定的网络爬虫，完成各类网站（电商/资讯/社交/企业信息等）的数据采集、清洗、存储；
2. 分析目标网站结构及反爬机制，制定并落地反反爬策略（如IP池、UA池、验证码识别、动态渲染页面处理等）；
3. 负责爬虫系统的日常维护、监控与优化，解决爬虫运行中的卡顿、漏采、封禁等问题，保障数据采集的完整性和时效性；
4. 对接业务需求，梳理数据采集规则，输出标准化的数据格式，配合数据分析师/产品经理完成数据应用落地；
5. 参与爬虫架构优化，提升爬虫集群的并发能力、容错能力和可扩展性；
6. 编写爬虫开发文档、接口文档，沉淀技术方案和最佳实践。
一、任职要求
【基础要求】
1. 精通Python编程语言，熟练使用Scrapy框架进行爬虫开发，熟悉Scrapy的核心组件（Spider、Item Pipeline、Middleware、Downloader等）；
2. 熟悉HTTP/HTTPS协议，掌握请求头、Cookie、Session、代理IP等爬虫核心知识点，能独立分析并突破常见反爬手段（如封IP、验证码、JS加密、动态加载、User-Agent验证等）；
3. 熟悉数据解析方式：XPath、CSS Selector、正则表达式，了解JSON/XML数据处理，能处理非结构化/半结构化数据；
4. 熟悉常用数据库（MySQL/Redis/MongoDB等），能根据数据特点选择合适的存储方案，具备基本的SQL优化能力；
5. 具备良好的代码规范和编程习惯，能独立完成模块开发，有排查和解决线上问题的能力。
【重点看】
1. 熟悉Selenium/Playwright/Pyppeteer等动态页面渲染工具，有分布式爬虫（Scrapy-Redis）开发经验；
2. 了解爬虫监控、日志分析工具（如ELK、Prometheus），有爬虫集群部署和运维经验；
3. 有过验证码识别（OCR/打码平台对接）、滑块验证、短信验证绕过等实战经验；
4. 具备逆向工程基础，能分析JS加密逻辑（如AST、Hook）；
5. 有美团、携程、或酒店网站爬虫开发经验优先！！！！！
2. 分析目标网站结构及反爬机制，制定并落地反反爬策略（如IP池、UA池、验证码识别、动态渲染页面处理等）；
3. 负责爬虫系统的日常维护、监控与优化，解决爬虫运行中的卡顿、漏采、封禁等问题，保障数据采集的完整性和时效性；
4. 对接业务需求，梳理数据采集规则，输出标准化的数据格式，配合数据分析师/产品经理完成数据应用落地；
5. 参与爬虫架构优化，提升爬虫集群的并发能力、容错能力和可扩展性；
6. 编写爬虫开发文档、接口文档，沉淀技术方案和最佳实践。
一、任职要求
【基础要求】
1. 精通Python编程语言，熟练使用Scrapy框架进行爬虫开发，熟悉Scrapy的核心组件（Spider、Item Pipeline、Middleware、Downloader等）；
2. 熟悉HTTP/HTTPS协议，掌握请求头、Cookie、Session、代理IP等爬虫核心知识点，能独立分析并突破常见反爬手段（如封IP、验证码、JS加密、动态加载、User-Agent验证等）；
3. 熟悉数据解析方式：XPath、CSS Selector、正则表达式，了解JSON/XML数据处理，能处理非结构化/半结构化数据；
4. 熟悉常用数据库（MySQL/Redis/MongoDB等），能根据数据特点选择合适的存储方案，具备基本的SQL优化能力；
5. 具备良好的代码规范和编程习惯，能独立完成模块开发，有排查和解决线上问题的能力。
【重点看】
1. 熟悉Selenium/Playwright/Pyppeteer等动态页面渲染工具，有分布式爬虫（Scrapy-Redis）开发经验；
2. 了解爬虫监控、日志分析工具（如ELK、Prometheus），有爬虫集群部署和运维经验；
3. 有过验证码识别（OCR/打码平台对接）、滑块验证、短信验证绕过等实战经验；
4. 具备逆向工程基础，能分析JS加密逻辑（如AST、Hook）；
5. 有美团、携程、或酒店网站爬虫开发经验优先！！！！！
2026-08-12 14:50
IP属地：广东
职位福利
本科1-3年架构设计经验Linux开发/部署经验爬虫经验PythonC++
深圳爬虫智能科技有限公司
0-20人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
深圳光明区工作内容1、负责纤草科技Python相关的高级开发工作，确保代码质量和系统稳定性。2、参与系统设计
1-1.1万元/月
Python3-5年大专架构设计经验微服务经验机器学习经验有前端经验/技能C#NumpyPyTorch
深圳 光明区 公明
收藏职位
