浦东新区
职位详情
岗位职责：
负责主流媒体平台（如抖音、快手、小红书等）的数据抓取与解析，搭建高效稳定的爬虫体系，保障数据的实时获取与完整存储。
深入分析各平台动态反爬策略，设计应对验证码、请求限流、IP封锁等问题的技术方案，提高爬虫执行成功率。
构建智能调度机制，集成代理池管理、动态UA切换、Cookies模拟、Session保持等功能，有效应对各类反爬措施。
持续优化爬虫效率，提升采集速度、并发处理能力及数据存储结构，支撑大规模分布式架构运行。
研发针对动态加载内容和JavaScript渲染页面的解析方法，实现浏览器指纹模拟及前端加密逻辑破解。
与数据分析和产品团队密切配合，准确理解业务需求，提供可靠数据支撑，并协同合规部门确保采集行为符合《网络安全法》《个人信息保护法》等相关法规要求。
任职要求：
本科及以上学历，计算机、软件工程、数据科学等相关专业背景，具备3年以上爬虫系统开发经验。
精通 Python 语言，熟练使用 Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与工具库。
掌握异步编程、多进程处理及分布式架构设计，具有大规模数据采集与持久化存储实战经验。
熟悉各类反爬机制，具备代理池建设、IP轮换、验证码处理、动态页面解析、JS渲染内容抓取等核心技术能力。
拥有丰富的网页访问限制突破经验，包括浏览器指纹伪装、Cookies 控制、会话维持以及前端加密逆向分析。
了解常见数据存储技术，如 MongoDB、Redis、Elasticsearch、PostgreSQL 等，能根据场景合理选型应用。
具备出色的逻辑思维与问题解决能力，拥有良好的沟通协作意识和团队合作精神。
加分项：
在实际项目中成功应对过高强度反爬机制并稳定获取数据的经历。
熟悉云平台（如 AWS、GCP、阿里云）上的爬虫部署流程与自动化运维实践。
负责主流媒体平台（如抖音、快手、小红书等）的数据抓取与解析，搭建高效稳定的爬虫体系，保障数据的实时获取与完整存储。
深入分析各平台动态反爬策略，设计应对验证码、请求限流、IP封锁等问题的技术方案，提高爬虫执行成功率。
构建智能调度机制，集成代理池管理、动态UA切换、Cookies模拟、Session保持等功能，有效应对各类反爬措施。
持续优化爬虫效率，提升采集速度、并发处理能力及数据存储结构，支撑大规模分布式架构运行。
研发针对动态加载内容和JavaScript渲染页面的解析方法，实现浏览器指纹模拟及前端加密逻辑破解。
与数据分析和产品团队密切配合，准确理解业务需求，提供可靠数据支撑，并协同合规部门确保采集行为符合《网络安全法》《个人信息保护法》等相关法规要求。
任职要求：
本科及以上学历，计算机、软件工程、数据科学等相关专业背景，具备3年以上爬虫系统开发经验。
精通 Python 语言，熟练使用 Scrapy、Playwright、Selenium、Httpx、Requests 等主流爬虫框架与工具库。
掌握异步编程、多进程处理及分布式架构设计，具有大规模数据采集与持久化存储实战经验。
熟悉各类反爬机制，具备代理池建设、IP轮换、验证码处理、动态页面解析、JS渲染内容抓取等核心技术能力。
拥有丰富的网页访问限制突破经验，包括浏览器指纹伪装、Cookies 控制、会话维持以及前端加密逆向分析。
了解常见数据存储技术，如 MongoDB、Redis、Elasticsearch、PostgreSQL 等，能根据场景合理选型应用。
具备出色的逻辑思维与问题解决能力，拥有良好的沟通协作意识和团队合作精神。
加分项：
在实际项目中成功应对过高强度反爬机制并稳定获取数据的经历。
熟悉云平台（如 AWS、GCP、阿里云）上的爬虫部署流程与自动化运维实践。
2026-05-17 12:49
IP属地：上海
职位福利
本科5-10年
百安居(上海)商贸有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
