宝山区
职位详情
岗位要求：
1、负责电商平台、内容平台及短视频类网站的数据抓取，进行链接分析、转码处理等工作；
2、深入研究各类反爬策略，突破技术限制，持续优化爬虫效率，确保系统运行的稳定性与响应速度；
3、完成数据抽取、清洗、结构化处理、入库及统计分析等相关技术实现；
4、主导爬虫系统的架构规划与开发工作，保障系统可扩展性与高可用性；
5、具备独立应对和解决开发过程中各类技术难题的能力。
职位要求：
1、本科及以上学历，计算机、信息技术相关专业，具备数据挖掘、自然语言处理、信息检索或机器学习经验者优先；
2、三年以上开发经验，熟悉Linux操作系统，具备大规模网页爬虫开发及分布式爬虫架构实践经验者优先；
3、熟练掌握主流Python爬虫框架，如pyspider、scrapy等；
4、了解常见反爬机制，具备实际应对能力，包括但不限于IP封禁、指纹识别、数据加密、请求参数混淆等场景的解决方案；
5、具备出色的逻辑思维与问题分析解决能力；
6、具有强烈的责任意识，善于沟通协作，具备良好的团队合作精神
1、负责电商平台、内容平台及短视频类网站的数据抓取，进行链接分析、转码处理等工作；
2、深入研究各类反爬策略，突破技术限制，持续优化爬虫效率，确保系统运行的稳定性与响应速度；
3、完成数据抽取、清洗、结构化处理、入库及统计分析等相关技术实现；
4、主导爬虫系统的架构规划与开发工作，保障系统可扩展性与高可用性；
5、具备独立应对和解决开发过程中各类技术难题的能力。
职位要求：
1、本科及以上学历，计算机、信息技术相关专业，具备数据挖掘、自然语言处理、信息检索或机器学习经验者优先；
2、三年以上开发经验，熟悉Linux操作系统，具备大规模网页爬虫开发及分布式爬虫架构实践经验者优先；
3、熟练掌握主流Python爬虫框架，如pyspider、scrapy等；
4、了解常见反爬机制，具备实际应对能力，包括但不限于IP封禁、指纹识别、数据加密、请求参数混淆等场景的解决方案；
5、具备出色的逻辑思维与问题分析解决能力；
6、具有强烈的责任意识，善于沟通协作，具备良好的团队合作精神
2026-08-20 14:53
IP属地：上海
职位福利
本科3-5年
上海能良电子科技有限公司
D轮及以上 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
