宝山区
职位详情
岗位职责（自研项目）
1.依据业务需求，规划并实现高效稳定的网络爬虫系统，完成多源数据的自动化抓取与整合；
2.负责爬虫系统的日常运维与性能调优，应对反爬策略、IP限制、数据清洗等技术挑战；
3.持续跟踪国内外前沿爬虫技术与框架，推动新技术落地，提升团队开发效率与技术水平；
4.撰写规范的技术文档、开发方案及操作指南，完善爬虫开发流程与标准化体系；
5.严格遵循数据合规与隐私保护相关法规，确保采集行为合法合规，保障数据安全可控；
6.构建爬虫运行监控体系，实时掌握系统状态，及时发现并处理异常与故障；
7.协同团队完成其他与爬虫相关的技术工作，积极参与技术交流与团队能力建设。
任职要求
1.本科及以上学历，计算机科学、软件工程、信息技术等相关专业，具备3年以上爬虫开发经验；
2.精通Python语言，熟练使用Scrapy、BeautifulSoup、Selenium、Requests等主流爬虫工具；
3.掌握常见反爬机制的应对方法，如验证码识别、动态页面加载、IP代理池构建等；
4.具备良好的数据库设计与操作能力，熟悉MySQL、MongoDB等常用数据库；
5.熟悉《网络安全法》《个人信息保护法》等数据合规法律法规，有相关项目经验者优先；
6.具备出色的分析与解决问题能力，能独立承担爬虫系统的设计、开发与维护工作；
7.具备良好的沟通协作意识和团队精神，学习能力强，乐于技术探索与分享；
8.有蓝领招聘或人力资源行业数据采集经验者优先考虑。
1.依据业务需求，规划并实现高效稳定的网络爬虫系统，完成多源数据的自动化抓取与整合；
2.负责爬虫系统的日常运维与性能调优，应对反爬策略、IP限制、数据清洗等技术挑战；
3.持续跟踪国内外前沿爬虫技术与框架，推动新技术落地，提升团队开发效率与技术水平；
4.撰写规范的技术文档、开发方案及操作指南，完善爬虫开发流程与标准化体系；
5.严格遵循数据合规与隐私保护相关法规，确保采集行为合法合规，保障数据安全可控；
6.构建爬虫运行监控体系，实时掌握系统状态，及时发现并处理异常与故障；
7.协同团队完成其他与爬虫相关的技术工作，积极参与技术交流与团队能力建设。
任职要求
1.本科及以上学历，计算机科学、软件工程、信息技术等相关专业，具备3年以上爬虫开发经验；
2.精通Python语言，熟练使用Scrapy、BeautifulSoup、Selenium、Requests等主流爬虫工具；
3.掌握常见反爬机制的应对方法，如验证码识别、动态页面加载、IP代理池构建等；
4.具备良好的数据库设计与操作能力，熟悉MySQL、MongoDB等常用数据库；
5.熟悉《网络安全法》《个人信息保护法》等数据合规法律法规，有相关项目经验者优先；
6.具备出色的分析与解决问题能力，能独立承担爬虫系统的设计、开发与维护工作；
7.具备良好的沟通协作意识和团队精神，学习能力强，乐于技术探索与分享；
8.有蓝领招聘或人力资源行业数据采集经验者优先考虑。
2026-06-11 13:47
IP属地：上海
职位福利
本科3-5年招聘公众号微信微信生态爬虫
上海坤德建设工程有限公司
100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
