杭州·上城区
职位详情
岗位职责
1. 负责数据的抓取、抽取、清洗、存储及日常运维工作；
2. 从非结构化网页中提取核心字段，输出高准确率的数据结果；
3. 实现任务的周期性调度，支持失败自动重试与数据一致性校验；
4. 搭建监控体系，对任务运行状态、数据规模等关键指标进行实时监控并触发告警。
岗位要求
1. 具备3-5年爬虫开发经验，掌握爬虫核心技术，能独立分析并处理技术问题；
2. 精通Python语言，熟练运用Scrapy、Drissionpage等主流爬虫框架；
3. 熟悉Redis、MySQL、MongoDB 等常用数据存储组件；
4. 熟练使用xpath、re等解析工具，具备异步IO编程能力者优先；
5. 拥有扎实的JS逆向能力，可应对复杂验证码（如滑块、点选）场景；
6. 具备代理池建设经验，熟悉容器化部署流程（如Docker），了解Linux基础运维操作；
7. 独立主导过中大型采集项目或具备大量数据抽取经验者优先考虑。
1. 负责数据的抓取、抽取、清洗、存储及日常运维工作；
2. 从非结构化网页中提取核心字段，输出高准确率的数据结果；
3. 实现任务的周期性调度，支持失败自动重试与数据一致性校验；
4. 搭建监控体系，对任务运行状态、数据规模等关键指标进行实时监控并触发告警。
岗位要求
1. 具备3-5年爬虫开发经验，掌握爬虫核心技术，能独立分析并处理技术问题；
2. 精通Python语言，熟练运用Scrapy、Drissionpage等主流爬虫框架；
3. 熟悉Redis、MySQL、MongoDB 等常用数据存储组件；
4. 熟练使用xpath、re等解析工具，具备异步IO编程能力者优先；
5. 拥有扎实的JS逆向能力，可应对复杂验证码（如滑块、点选）场景；
6. 具备代理池建设经验，熟悉容器化部署流程（如Docker），了解Linux基础运维操作；
7. 独立主导过中大型采集项目或具备大量数据抽取经验者优先考虑。
2026-05-17 12:47
IP属地：浙江杭州
职位福利
本科3-5年数据开发爬虫/反爬Python
中弘科建设计有限公司
100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
