朝阳区
职位详情
岗位职责：
1. 负责高并发、分布式后端系统的开发，涵盖数据采集、调度与网关系统的设计、实现及维护，持续优化数据抓取、解析、存储等全流程链路。
2. 根据业务数据需求，调研可行的数据来源（网站/APP/程序等），设计并落地数据采集方案，输出有效数据并通过服务接口提供支持。
3. 研判目标网站的数据结构与反爬机制，制定有效的技术策略以保障数据稳定获取。
4. 协同后端团队推进数据与业务系统的集成对接工作。
5. 跟进前沿技术动向，探索并应用新技术优化现有工程流程。
岗位要求：
1. 统招本科及以上学历，计算机相关专业，具备3年以上Python开发经验。
2. 深入掌握网络爬虫核心技术，熟悉分布式架构、HTTP协议、Cookie/Session机制、IP代理策略、验证码处理及移动端App调试方法。
3. 精通主流Browser Agent框架之一（如Playwright、Puppeteer、Selenium），并有成功应用于复杂动态页面采集的实际项目经历。
4. 具备基于MCP（多通道处理）架构构建分布式爬虫服务的实践经验；
5. 熟练掌握至少一门主流编程语言（Python优先，亦可为Java、Go、Node.js），代码规范良好，具备工程化开发能力，熟悉Scrapy、BeautifulSoup、Requests、Playwright等常用框架；
6. 熟悉常见分布式任务调度工具（如Celery、Airflow、Kafka），了解MySQL、PostgreSQL、MongoDB、Redis、ElasticSearch等数据库的使用与性能调优。
7. 掌握前端基础技术（HTML/CSS/JS），能熟练使用浏览器调试工具，并具备XPath、lxml等HTML解析能力；
8. 有实际应对行为验证、IP封锁、参数加密等复杂反爬策略的项目经验；
9. 具备清晰的逻辑思维、良好的沟通协作能力，善于分析和解决复杂问题。
10. 遵守爬虫合规原则，了解相关法律法规，具备高度的数据安全意识。
11. 具备大规模数据抓取或采集平台建设经验者优先考虑。
12. 拥有云平台（AWS、GCP、Azure、阿里云、腾讯云等）部署运维经验，熟悉Docker、Kubernetes技术者优先。
13. 有操作系统级应用或手机APP数据采集经验者优先。
1. 负责高并发、分布式后端系统的开发，涵盖数据采集、调度与网关系统的设计、实现及维护，持续优化数据抓取、解析、存储等全流程链路。
2. 根据业务数据需求，调研可行的数据来源（网站/APP/程序等），设计并落地数据采集方案，输出有效数据并通过服务接口提供支持。
3. 研判目标网站的数据结构与反爬机制，制定有效的技术策略以保障数据稳定获取。
4. 协同后端团队推进数据与业务系统的集成对接工作。
5. 跟进前沿技术动向，探索并应用新技术优化现有工程流程。
岗位要求：
1. 统招本科及以上学历，计算机相关专业，具备3年以上Python开发经验。
2. 深入掌握网络爬虫核心技术，熟悉分布式架构、HTTP协议、Cookie/Session机制、IP代理策略、验证码处理及移动端App调试方法。
3. 精通主流Browser Agent框架之一（如Playwright、Puppeteer、Selenium），并有成功应用于复杂动态页面采集的实际项目经历。
4. 具备基于MCP（多通道处理）架构构建分布式爬虫服务的实践经验；
5. 熟练掌握至少一门主流编程语言（Python优先，亦可为Java、Go、Node.js），代码规范良好，具备工程化开发能力，熟悉Scrapy、BeautifulSoup、Requests、Playwright等常用框架；
6. 熟悉常见分布式任务调度工具（如Celery、Airflow、Kafka），了解MySQL、PostgreSQL、MongoDB、Redis、ElasticSearch等数据库的使用与性能调优。
7. 掌握前端基础技术（HTML/CSS/JS），能熟练使用浏览器调试工具，并具备XPath、lxml等HTML解析能力；
8. 有实际应对行为验证、IP封锁、参数加密等复杂反爬策略的项目经验；
9. 具备清晰的逻辑思维、良好的沟通协作能力，善于分析和解决复杂问题。
10. 遵守爬虫合规原则，了解相关法律法规，具备高度的数据安全意识。
11. 具备大规模数据抓取或采集平台建设经验者优先考虑。
12. 拥有云平台（AWS、GCP、Azure、阿里云、腾讯云等）部署运维经验，熟悉Docker、Kubernetes技术者优先。
13. 有操作系统级应用或手机APP数据采集经验者优先。
2026-05-23 14:20
IP属地：北京
职位福利
本科5-10年Scrapy爬虫经验分布式经验PandasMySQL架构设计经验Linux开发/部署经验智能体开发Python
北京游刃科技有限公司
天使轮 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
中级Python软件开发工程师
1.5-1.8万元/月
Python3-5年本科GolangDockerDjango机器学习经验NumpyFlaskTensorFlow
北京 朝阳区
王先生 · 中科软5日内活跃
收藏职位
