西城区
职位详情
岗位职责：
1. 负责电力系统相关平台数据的采集与处理工作；
2. 根据大数据应用需求，设计并优化高效、智能的爬虫架构，实现多源异构数据的汇聚。
3. 对目标网站及接口进行逆向分析，突破反爬限制，包括验证码识别、动态内容加载、JS混淆加密、IP封禁等，保障数据抓取的持续性。
4. 面向大数据预处理标准，优化爬虫输出的数据结构与质量，提升数据在模型训练与推理中的可用性。
5. 与算法团队协同配合，确保所采集数据满足模型开发与业务落地的需求。
6. 持续跟踪反爬技术演进趋势，迭代升级爬虫系统的技术方案与性能表现。
职位要求：
1. 本科及以上学历，计算机科学、人工智能、信息安全等相关专业背景。
2. 具备3年以上爬虫开发与逆向分析经验，有参与大模型或AI方向数据采集项目者优先考虑。
3. 掌握主流反爬机制应对方法，如页面动态渲染、验证码处理、前端加密逻辑解析等。
4. 精通Python或其他编程语言，熟练使用常见爬虫工具（如Scrapy、Selenium、Playwright等）。
5. 熟悉HTTP/HTTPS协议原理，具备接口级数据抓取能力，能完成复杂结构数据的提取与清洗。
6. 具备较强的逻辑分析与问题排查能力，可独立解决高难度反爬对抗问题。
7. 熟悉瑞数6代防护机制及其解密方式，了解典型加密策略实现原理
1. 负责电力系统相关平台数据的采集与处理工作；
2. 根据大数据应用需求，设计并优化高效、智能的爬虫架构，实现多源异构数据的汇聚。
3. 对目标网站及接口进行逆向分析，突破反爬限制，包括验证码识别、动态内容加载、JS混淆加密、IP封禁等，保障数据抓取的持续性。
4. 面向大数据预处理标准，优化爬虫输出的数据结构与质量，提升数据在模型训练与推理中的可用性。
5. 与算法团队协同配合，确保所采集数据满足模型开发与业务落地的需求。
6. 持续跟踪反爬技术演进趋势，迭代升级爬虫系统的技术方案与性能表现。
职位要求：
1. 本科及以上学历，计算机科学、人工智能、信息安全等相关专业背景。
2. 具备3年以上爬虫开发与逆向分析经验，有参与大模型或AI方向数据采集项目者优先考虑。
3. 掌握主流反爬机制应对方法，如页面动态渲染、验证码处理、前端加密逻辑解析等。
4. 精通Python或其他编程语言，熟练使用常见爬虫工具（如Scrapy、Selenium、Playwright等）。
5. 熟悉HTTP/HTTPS协议原理，具备接口级数据抓取能力，能完成复杂结构数据的提取与清洗。
6. 具备较强的逻辑分析与问题排查能力，可独立解决高难度反爬对抗问题。
7. 熟悉瑞数6代防护机制及其解密方式，了解典型加密策略实现原理
2026-06-14 12:23
IP属地：北京
职位福利
本科3-5年Scrapy
北京青蓝致远科技有限公司
不需要融资 · 100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
