杭州·余杭区
职位详情
岗位职责：
- 设计并实现高效稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提高数据抓取效率，应对各类反爬机制。
- 分析目标网站页面结构与数据接口，制定科学合理的爬取方案，确保数据的准确与完整。
- 协同数据分析及业务部门，提供持续可靠的数据支撑服务。
- 实时监控爬虫运行状况，快速响应异常问题，保障数据采集系统的稳定性。
任职要求：
必备技能：
- 1-3年及以上Python开发经验，精通Python语言及相关常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 具备扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉主流反爬策略及其解决方案（如代理IP使用、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析方式（XPath/正则表达式/JSON等），了解RESTful API调用流程。
- 具有良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（如Scrapy-Redis、Celery）或大规模数据采集项目经验者优先考虑。
- 掌握JavaScript逆向分析、APP抓包技术（Charles/Fiddler/Mitmproxy）或移动端数据采集能力者更佳。
- 设计并实现高效稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提高数据抓取效率，应对各类反爬机制。
- 分析目标网站页面结构与数据接口，制定科学合理的爬取方案，确保数据的准确与完整。
- 协同数据分析及业务部门，提供持续可靠的数据支撑服务。
- 实时监控爬虫运行状况，快速响应异常问题，保障数据采集系统的稳定性。
任职要求：
必备技能：
- 1-3年及以上Python开发经验，精通Python语言及相关常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 具备扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉主流反爬策略及其解决方案（如代理IP使用、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析方式（XPath/正则表达式/JSON等），了解RESTful API调用流程。
- 具有良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（如Scrapy-Redis、Celery）或大规模数据采集项目经验者优先考虑。
- 掌握JavaScript逆向分析、APP抓包技术（Charles/Fiddler/Mitmproxy）或移动端数据采集能力者更佳。
2026-06-26 12:45
IP属地：浙江杭州
职位福利
本科1-3年Nginx爬虫经验MySQLPython
浙江预策科技有限公司
A轮 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
杭州Python开发工程师（自动化测试方向）-余杭区
8000-11000元/月
Python3-5年本科国内院校优先架构设计经验Linux开发/部署经验分布式经验有前端经验/技能DjangoFlaskDockerMySQLRedisMongoDB
杭州 余杭区
收藏职位
