杭州·余杭区
职位详情
岗位职责：
- 设计并实现高效稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提高抓取效率，应对各类反爬机制。
- 分析目标网站页面结构与数据接口，制定科学合理的采集策略，确保数据的准确性与完整性。
- 协同数据分析及业务部门，提供持续、可靠的数据支撑服务。
- 实时监控爬虫运行状态，快速定位并处理异常问题，保障数据采集系统的稳定运行。
任职要求：
必备技能：
- 具备5年以上Python开发经验，精通Python语言及常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 拥有扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉常见反爬手段及其解决方案（如代理IP、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析技术（XPath/正则/JSON等），了解RESTful API调用方式。
- 具备良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（Scrapy-Redis/Celery等）或大规模数据采集项目经验者优先考虑。
- 掌握JavaScript逆向分析、APP抓包工具（Charles/Fiddler/Mitmproxy）或移动端数据采集技术者更佳。
- 设计并实现高效稳定的网络爬虫系统，完成数据的采集、清洗与存储工作。
- 持续优化现有爬虫架构，提高抓取效率，应对各类反爬机制。
- 分析目标网站页面结构与数据接口，制定科学合理的采集策略，确保数据的准确性与完整性。
- 协同数据分析及业务部门，提供持续、可靠的数据支撑服务。
- 实时监控爬虫运行状态，快速定位并处理异常问题，保障数据采集系统的稳定运行。
任职要求：
必备技能：
- 具备5年以上Python开发经验，精通Python语言及常用库（如Requests、Scrapy、BeautifulSoup、Selenium等）。
- 拥有扎实的爬虫实战能力，可独立完成高复杂度网站的数据抓取，熟悉常见反爬手段及其解决方案（如代理IP、请求头伪装、动态渲染处理等）。
- 熟悉HTTP/HTTPS协议、WebSocket通信机制，掌握多种数据解析技术（XPath/正则/JSON等），了解RESTful API调用方式。
- 具备良好的编码规范、文档编写习惯以及较强的故障排查能力。
加分项：
- 具备分布式爬虫（Scrapy-Redis/Celery等）或大规模数据采集项目经验者优先考虑。
- 掌握JavaScript逆向分析、APP抓包工具（Charles/Fiddler/Mitmproxy）或移动端数据采集技术者更佳。
2026-06-26 15:03
IP属地：浙江杭州
职位福利
学历不限经验不限爬虫经验DjangoMySQLPython
浙江预策科技有限公司
A轮 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
杭州Python开发工程师（自动化测试方向）-余杭区
8000-11000元/月
Python3-5年本科国内院校优先架构设计经验Linux开发/部署经验分布式经验有前端经验/技能DjangoFlaskDockerMySQLRedisMongoDB
杭州 余杭区
收藏职位
