青浦区
职位详情
岗位职责：
1、负责各类网站、APP 等数据源的爬虫系统架构与开发，依据实际需求制定科学的采集方案，保障数据的高效性与准确性。
2、对采集的原始数据进行清洗、去重及格式标准化处理，提升数据质量，确保为后续分析与应用提供稳定可靠的数据基础。
3、搭建并维护爬虫相关数据库结构，合理规划数据存储方案，保障数据完整与安全，同时优化查询效率与响应速度。
4、持续监控爬虫系统的运行情况，及时识别并处理程序异常、数据丢失等问题，确保系统长期稳定运行。
5、与数据分析、产品等团队紧密配合，深入理解业务需求，动态调整采集策略和数据处理逻辑，适配多样化的应用场景，持续优化系统性能。
6、精通数据处理与分析。
任职要求：
1、本科及以上学历，计算机相关专业，具备2年以上爬虫开发经验，有处理大型网站或复杂数据源项目经历者优先。
2、熟练掌握 Python、java 编程语言，熟悉 Scrapy、BeautifulSoup、Requests、Selenium、java 接口调用等主流爬虫工具与库，能独立完成爬虫程序开发与维护。
3、了解 HTTP/HTTPS 协议原理，掌握网页结构与前端技术（HTML、CSS、JavaScript），可熟练阅读网页源码与接口信息，精准提取目标数据。
4、熟悉常见反爬策略及其应对方案，至少掌握一种数据库（如 MySQL、MongoDB 等），了解数据库性能调优与存储设计方法。
5、具备较强的技术问题排查能力，能快速定位并解决爬虫运行中的各类故障。
6、具备良好的沟通意识与团队合作精神，能够协同团队高效推进各项工作任务。
1、负责各类网站、APP 等数据源的爬虫系统架构与开发，依据实际需求制定科学的采集方案，保障数据的高效性与准确性。
2、对采集的原始数据进行清洗、去重及格式标准化处理，提升数据质量，确保为后续分析与应用提供稳定可靠的数据基础。
3、搭建并维护爬虫相关数据库结构，合理规划数据存储方案，保障数据完整与安全，同时优化查询效率与响应速度。
4、持续监控爬虫系统的运行情况，及时识别并处理程序异常、数据丢失等问题，确保系统长期稳定运行。
5、与数据分析、产品等团队紧密配合，深入理解业务需求，动态调整采集策略和数据处理逻辑，适配多样化的应用场景，持续优化系统性能。
6、精通数据处理与分析。
任职要求：
1、本科及以上学历，计算机相关专业，具备2年以上爬虫开发经验，有处理大型网站或复杂数据源项目经历者优先。
2、熟练掌握 Python、java 编程语言，熟悉 Scrapy、BeautifulSoup、Requests、Selenium、java 接口调用等主流爬虫工具与库，能独立完成爬虫程序开发与维护。
3、了解 HTTP/HTTPS 协议原理，掌握网页结构与前端技术（HTML、CSS、JavaScript），可熟练阅读网页源码与接口信息，精准提取目标数据。
4、熟悉常见反爬策略及其应对方案，至少掌握一种数据库（如 MySQL、MongoDB 等），了解数据库性能调优与存储设计方法。
5、具备较强的技术问题排查能力，能快速定位并解决爬虫运行中的各类故障。
6、具备良好的沟通意识与团队合作精神，能够协同团队高效推进各项工作任务。
2026-06-24 12:14
IP属地：上海
职位福利
本科3-5年
上海浅银新能科技有限公司
不需要融资 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
