杭州·余杭区
职位详情
岗位职责：
- 设计并实现高效、稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提升抓取效率，应对各类反爬机制。
- 分析目标网站结构及接口规则，制定科学的爬取方案，保障数据的准确性与完整性。
- 协同数据分析与业务部门，提供持续、可靠的数据支撑服务。
- 实时监控爬虫运行状态，快速响应异常，确保数据采集系统的稳定运行。
任职要求：
必备技能：
- 5年及以上Python开发经验，精通Python语言及相关常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 具备扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉主流反爬策略及其解决方案（如代理IP、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析技术（XPath/正则/JSON等），了解RESTful API调用方式。
- 熟练操作数据库（MySQL/MongoDB/Redis等），能够设计合理的数据存储架构。
- 具备良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（Scrapy-Redis/Celery等）或大规模数据采集项目经验者优先。
- 掌握JavaScript逆向分析、APP抓包技术（Charles/Fiddler/Mitmproxy）或移动端爬虫实现方法。
- 了解机器学习、自然语言处理（NLP）在数据提取中的实际应用。
- 有数据仓库建设、ETL流程或数据治理相关经验者优先。
- 设计并实现高效、稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提升抓取效率，应对各类反爬机制。
- 分析目标网站结构及接口规则，制定科学的爬取方案，保障数据的准确性与完整性。
- 协同数据分析与业务部门，提供持续、可靠的数据支撑服务。
- 实时监控爬虫运行状态，快速响应异常，确保数据采集系统的稳定运行。
任职要求：
必备技能：
- 5年及以上Python开发经验，精通Python语言及相关常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 具备扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉主流反爬策略及其解决方案（如代理IP、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析技术（XPath/正则/JSON等），了解RESTful API调用方式。
- 熟练操作数据库（MySQL/MongoDB/Redis等），能够设计合理的数据存储架构。
- 具备良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（Scrapy-Redis/Celery等）或大规模数据采集项目经验者优先。
- 掌握JavaScript逆向分析、APP抓包技术（Charles/Fiddler/Mitmproxy）或移动端爬虫实现方法。
- 了解机器学习、自然语言处理（NLP）在数据提取中的实际应用。
- 有数据仓库建设、ETL流程或数据治理相关经验者优先。
2026-05-17 12:42
IP属地：浙江杭州
职位福利
学历不限经验不限
浙江预策科技有限公司
A轮 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
