宝山区
职位详情
岗位职责（自研项目）
1. 依据业务需求，规划并实现高效稳定的网络爬虫架构，完成多渠道数据的自动化采集与集成；
2. 承担爬虫系统的日常运维与性能调优，攻克反爬策略、IP限制、数据清洗等关键技术问题；
3. 持续跟踪国内外主流爬虫技术发展，引入先进框架与方法，提升团队整体开发水平与效率；
4. 编写完整的开发文档、技术方案及操作指南，完善并优化爬虫开发流程与规范体系；
5. 严格遵循数据合规与隐私保护相关法规，确保数据抓取行为合法，保障系统与信息安全性；
6. 建立爬虫运行监控体系，实时掌握系统状态，及时发现并处理异常告警与故障问题；
7. 协同团队推进其他与爬虫相关的技术工作，主动参与技术交流与团队能力建设。
任职要求
1. 本科及以上学历，计算机、软件工程、信息技术等相关专业，具备3年以上网络爬虫开发经验；
2. 精通Python语言，熟练运用Scrapy、BeautifulSoup、Selenium、Requests等常用爬虫工具与框架；
3. 掌握常见反爬机制应对方案，包括验证码处理、动态页面加载、IP代理管理等技术手段；
4. 具备扎实的数据库设计与操作能力，熟悉MySQL、MongoDB等主流数据库的应用；
5. 熟悉《网络安全法》《个人信息保护法》等数据合规法律法规，有合规类项目实践者优先；
6. 具备出色的逻辑分析与问题解决能力，可独立承担爬虫系统的设计、开发与维护任务；
7. 具备良好的团队协作意识与沟通能力，学习意愿强，乐于技术探索与知识分享；
8. 有蓝领招聘或人力资源领域数据采集项目经验者优先考虑。
1. 依据业务需求，规划并实现高效稳定的网络爬虫架构，完成多渠道数据的自动化采集与集成；
2. 承担爬虫系统的日常运维与性能调优，攻克反爬策略、IP限制、数据清洗等关键技术问题；
3. 持续跟踪国内外主流爬虫技术发展，引入先进框架与方法，提升团队整体开发水平与效率；
4. 编写完整的开发文档、技术方案及操作指南，完善并优化爬虫开发流程与规范体系；
5. 严格遵循数据合规与隐私保护相关法规，确保数据抓取行为合法，保障系统与信息安全性；
6. 建立爬虫运行监控体系，实时掌握系统状态，及时发现并处理异常告警与故障问题；
7. 协同团队推进其他与爬虫相关的技术工作，主动参与技术交流与团队能力建设。
任职要求
1. 本科及以上学历，计算机、软件工程、信息技术等相关专业，具备3年以上网络爬虫开发经验；
2. 精通Python语言，熟练运用Scrapy、BeautifulSoup、Selenium、Requests等常用爬虫工具与框架；
3. 掌握常见反爬机制应对方案，包括验证码处理、动态页面加载、IP代理管理等技术手段；
4. 具备扎实的数据库设计与操作能力，熟悉MySQL、MongoDB等主流数据库的应用；
5. 熟悉《网络安全法》《个人信息保护法》等数据合规法律法规，有合规类项目实践者优先；
6. 具备出色的逻辑分析与问题解决能力，可独立承担爬虫系统的设计、开发与维护任务；
7. 具备良好的团队协作意识与沟通能力，学习意愿强，乐于技术探索与知识分享；
8. 有蓝领招聘或人力资源领域数据采集项目经验者优先考虑。
2026-06-11 13:01
IP属地：上海
职位福利
本科3-5年招聘公众号微信微信生态爬虫
上海坤德建设工程有限公司
100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
