职位详情
【岗位职责】
1. 构建高效爬虫架构,采用分布式部署与多线程并发技术,提升数据采集效率。
2. 基于Scrapy等主流框架,结合Selenium、Dp等自动化工具,完成网页端及APP端的数据采集任务。
3. 应对各类反爬策略,通过爬虫对抗技术、JS逆向分析、APP逆向解析等方式,保障数据获取的稳定性。
4. 利用TCP/IP、HTTP协议基础,配合XPath、BeautifulSoup4、正则表达式等手段,实现抓取内容的精准提取与清洗。
5. 承担深度遍历、动态页面渲染、浏览器行为模拟、移动端抓取等复杂场景下的数据采集工作,适配多样业务需求。
6. 与项目组成员保持紧密协作,及时排查并解决开发过程中的技术难题,确保任务按时交付。
【任职要求】
1. 掌握分布式架构与多线程编程原理,具备利用相关技术优化爬虫性能的实际能力。
2. 深入理解Scrapy框架机制,熟练使用Selenium、Dp等自动化工具,能独立完成多类型目标的数据抓取。
3. 熟悉TCP/IP、HTTP通信协议,精通XPath、BeautifulSoup4及正则表达式,用于结构化数据提取与处理。
4. 精通常见爬虫与反爬应对策略,具备JS逆向实战经验,有APP逆向能力者更佳。
5. 熟练掌握深度采集、动态页面抓取、浏览器模拟操作、APP数据提取等技术,可应对高复杂度采集场景。
薪资8000-12000,具体根据个人技术能力定
1. 构建高效爬虫架构,采用分布式部署与多线程并发技术,提升数据采集效率。
2. 基于Scrapy等主流框架,结合Selenium、Dp等自动化工具,完成网页端及APP端的数据采集任务。
3. 应对各类反爬策略,通过爬虫对抗技术、JS逆向分析、APP逆向解析等方式,保障数据获取的稳定性。
4. 利用TCP/IP、HTTP协议基础,配合XPath、BeautifulSoup4、正则表达式等手段,实现抓取内容的精准提取与清洗。
5. 承担深度遍历、动态页面渲染、浏览器行为模拟、移动端抓取等复杂场景下的数据采集工作,适配多样业务需求。
6. 与项目组成员保持紧密协作,及时排查并解决开发过程中的技术难题,确保任务按时交付。
【任职要求】
1. 掌握分布式架构与多线程编程原理,具备利用相关技术优化爬虫性能的实际能力。
2. 深入理解Scrapy框架机制,熟练使用Selenium、Dp等自动化工具,能独立完成多类型目标的数据抓取。
3. 熟悉TCP/IP、HTTP通信协议,精通XPath、BeautifulSoup4及正则表达式,用于结构化数据提取与处理。
4. 精通常见爬虫与反爬应对策略,具备JS逆向实战经验,有APP逆向能力者更佳。
5. 熟练掌握深度采集、动态页面抓取、浏览器模拟操作、APP数据提取等技术,可应对高复杂度采集场景。
薪资8000-12000,具体根据个人技术能力定
2026-06-26 12:37
IP属地:湖南长沙
职位福利
学历不限1年以下Scrapy爬虫经验JS逆向渗透SeleniumPython

湖南尚码教育科技有限公司
未融资 · 100-499人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >








