丰台区
职位详情
岗位职责：
1. 负责 Web 端数据的全流程采集工作（包括爬取、清洗与入库），具备独立设计多源数据采集方案的能力；
2. 精通 Python，能够基于 FastAPI 搭建后端接口并完成系统联调；
3. 熟悉常用数据库技术（Redis、PostgreSQL、MySQL），可进行数据库结构设计及性能调优；
4. 熟练运用 Docker 实现服务容器化部署与多服务编排（Compose），有 K8s 使用经验者优先考虑；
5. 掌握多种数据抓取方式（如网页抓取、动态渲染页面解析、API 接口调用），能应对代理池管理、验证码识别等复杂场景；
6. 熟练使用 XPath、BeautifulSoup、pandas 等工具对结构化和非结构化数据进行高效提取；
7. 深入理解反爬机制，精通 JS Hook、AST 分析、代码混淆还原等破解技术；
8. 参与分布式爬虫系统的架构设计与性能优化，构建数据采集调度与监控体系；
9. 熟悉 Scrapy、PySpider 等主流爬虫框架，具备框架二次开发和中间件扩展能力；
10. 具备良好的协作沟通能力，能与产品、数据、后端团队高效配合推进项目；
11. 有移动端 APP 逆向分析及网络协议解析经验者优先录用。
1. 负责 Web 端数据的全流程采集工作（包括爬取、清洗与入库），具备独立设计多源数据采集方案的能力；
2. 精通 Python，能够基于 FastAPI 搭建后端接口并完成系统联调；
3. 熟悉常用数据库技术（Redis、PostgreSQL、MySQL），可进行数据库结构设计及性能调优；
4. 熟练运用 Docker 实现服务容器化部署与多服务编排（Compose），有 K8s 使用经验者优先考虑；
5. 掌握多种数据抓取方式（如网页抓取、动态渲染页面解析、API 接口调用），能应对代理池管理、验证码识别等复杂场景；
6. 熟练使用 XPath、BeautifulSoup、pandas 等工具对结构化和非结构化数据进行高效提取；
7. 深入理解反爬机制，精通 JS Hook、AST 分析、代码混淆还原等破解技术；
8. 参与分布式爬虫系统的架构设计与性能优化，构建数据采集调度与监控体系；
9. 熟悉 Scrapy、PySpider 等主流爬虫框架，具备框架二次开发和中间件扩展能力；
10. 具备良好的协作沟通能力，能与产品、数据、后端团队高效配合推进项目；
11. 有移动端 APP 逆向分析及网络协议解析经验者优先录用。
2026-02-24 18:07
IP属地：北京
职位福利
本科及以上经验不限Python数据挖掘数据清洗数据采集反爬虫
北京协合运维风电技术有限公司
· 5人以上
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
