朝阳区
职位详情
岗位职责：
1、设计分布式网络爬虫系统，支持多平台广告素材的抓取（如网页、APP、API接口）。
2、开发广告素材解析模块，提取关键信息
3、优化爬虫算法，提升抓取效率、数据处理与清洗
4、对抓取的广告素材进行结构化处理（如分类、去重、标签化）
5、清洗低质量数据（如模糊图片、重复文案），确保数据准确性。
任职标准
1、编程语言：精通Python（主流选择）或Java，熟悉异步编程（如asyncio）及多线程/多进程技术。
2、爬虫框架：熟练使用Scrapy、WebMagic等开源框架，或具备自主研发框架经验。
3、数据处理：掌握Pandas、NumPy等库，熟悉MySQL、MongoDB、Redis等数据库操作。
4、反爬技术：了解TCP/IP、HTTP协议，熟悉JS逆向、加密算法破解（如RSA、AES）、验证码识别（如OCR、深度学习模型）。
5、分布式系统：熟悉消息队列（如Kafka、RabbitMQ）、分布式调度（如Celery、Airflow）及缓存技术（如Redis）。
1、设计分布式网络爬虫系统，支持多平台广告素材的抓取（如网页、APP、API接口）。
2、开发广告素材解析模块，提取关键信息
3、优化爬虫算法，提升抓取效率、数据处理与清洗
4、对抓取的广告素材进行结构化处理（如分类、去重、标签化）
5、清洗低质量数据（如模糊图片、重复文案），确保数据准确性。
任职标准
1、编程语言：精通Python（主流选择）或Java，熟悉异步编程（如asyncio）及多线程/多进程技术。
2、爬虫框架：熟练使用Scrapy、WebMagic等开源框架，或具备自主研发框架经验。
3、数据处理：掌握Pandas、NumPy等库，熟悉MySQL、MongoDB、Redis等数据库操作。
4、反爬技术：了解TCP/IP、HTTP协议，熟悉JS逆向、加密算法破解（如RSA、AES）、验证码识别（如OCR、深度学习模型）。
5、分布式系统：熟悉消息队列（如Kafka、RabbitMQ）、分布式调度（如Celery、Airflow）及缓存技术（如Redis）。
2025-10-27 16:09
IP属地：北京
北京聚点互动科技有限公司
不需要融资 · 100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
