宝山区
职位详情
【岗位职责】
1、负责网络爬虫系统的架构设计、编码实现及日常维护，完成市场指数相关数据的自动化采集与处理。
2、根据业务需求进行技术分析，制定合理的数据抓取方案，合理选用爬取工具与技术手段。
3、持续优化爬虫系统性能，提升数据采集效率与稳定性。
4、研究并应对各类反爬机制，保障数据获取的连续性和可靠性。
5、协同数据分析团队协作，确保所提供数据的准确性与可用性。
6、实时监控爬虫任务运行情况，快速定位并解决异常问题。
7、关注业界前沿技术动态，推动爬虫技术迭代升级。
【任职要求】
1. 具备1年以上爬虫领域实际工作经验，能力突出者不限学历；
2. 理解网络爬虫核心技术原理，熟悉多种互联网数据交互方式；
3. 掌握HTML、JS，了解Web端与APP端数据抓取方法，具备爬虫与反爬对抗实践经验；
4. 精通至少一种主流爬虫框架，对垂直搜索、分布式采集及大规模数据抓取有深入认知；
5. 熟练运用正则表达式、XPath等数据解析技术；
6. 熟悉Mysql等常用数据库技术，了解缓存机制及nosql技术如redis、mongodb；
7. 具备扎实的编程基础，良好的学习适应能力和抗压能力。
1、负责网络爬虫系统的架构设计、编码实现及日常维护，完成市场指数相关数据的自动化采集与处理。
2、根据业务需求进行技术分析，制定合理的数据抓取方案，合理选用爬取工具与技术手段。
3、持续优化爬虫系统性能，提升数据采集效率与稳定性。
4、研究并应对各类反爬机制，保障数据获取的连续性和可靠性。
5、协同数据分析团队协作，确保所提供数据的准确性与可用性。
6、实时监控爬虫任务运行情况，快速定位并解决异常问题。
7、关注业界前沿技术动态，推动爬虫技术迭代升级。
【任职要求】
1. 具备1年以上爬虫领域实际工作经验，能力突出者不限学历；
2. 理解网络爬虫核心技术原理，熟悉多种互联网数据交互方式；
3. 掌握HTML、JS，了解Web端与APP端数据抓取方法，具备爬虫与反爬对抗实践经验；
4. 精通至少一种主流爬虫框架，对垂直搜索、分布式采集及大规模数据抓取有深入认知；
5. 熟练运用正则表达式、XPath等数据解析技术；
6. 熟悉Mysql等常用数据库技术，了解缓存机制及nosql技术如redis、mongodb；
7. 具备扎实的编程基础，良好的学习适应能力和抗压能力。
2026-08-18 12:38
IP属地：上海
职位福利
本科3-5年爬虫
上海能良电子科技有限公司
D轮及以上 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
