职位详情
岗位职责:
1、负责从各类网站、用户平台、App等多数据源进行数据抓取、内容提取及数据处理工作。
2、分析不同数据源的反爬策略,持续优化采集性能与数据准确性,构建稳定高效的数据采集体系。
3、参与后端数据服务模块开发,设计并开发数据接口,满足业务系统对数据的调用需求。
任职要求:
1、计算机相关专业背景,具备5年以上工作经验(需为爬虫相关方向)。
2、熟练掌握Python,精通至少一种主流爬虫框架(如Scrapy、PySpider等),并能灵活运用相关技术工具(如BeautifulSoup、requests、Playwright、大模型内容抽取等)。
3、理解爬虫核心技术原理,熟悉针对请求特征(UA、账号、代理、流量等)、行为模式(访问路径、动态交互)、环境指纹(浏览器指纹、画布指纹等)以及验证码等常见反爬机制的应对方案。
4、至少掌握App逆向或Web逆向其中一项技能(如Frida/Xposed/Cycript等Hook技术,或抓包、JS调试、浏览器模拟等),了解网络通信、数据结构、参数构造、会话管理及行为逻辑的逆向分析方法。
5、熟悉至少一种关系型数据库(MySQL/PostgreSQL)和非关系型数据库(MongoDB/Redis),并具备实际项目应用经验。
1、负责从各类网站、用户平台、App等多数据源进行数据抓取、内容提取及数据处理工作。
2、分析不同数据源的反爬策略,持续优化采集性能与数据准确性,构建稳定高效的数据采集体系。
3、参与后端数据服务模块开发,设计并开发数据接口,满足业务系统对数据的调用需求。
任职要求:
1、计算机相关专业背景,具备5年以上工作经验(需为爬虫相关方向)。
2、熟练掌握Python,精通至少一种主流爬虫框架(如Scrapy、PySpider等),并能灵活运用相关技术工具(如BeautifulSoup、requests、Playwright、大模型内容抽取等)。
3、理解爬虫核心技术原理,熟悉针对请求特征(UA、账号、代理、流量等)、行为模式(访问路径、动态交互)、环境指纹(浏览器指纹、画布指纹等)以及验证码等常见反爬机制的应对方案。
4、至少掌握App逆向或Web逆向其中一项技能(如Frida/Xposed/Cycript等Hook技术,或抓包、JS调试、浏览器模拟等),了解网络通信、数据结构、参数构造、会话管理及行为逻辑的逆向分析方法。
5、熟悉至少一种关系型数据库(MySQL/PostgreSQL)和非关系型数据库(MongoDB/Redis),并具备实际项目应用经验。
2026-08-05 15:11
IP属地:湖南长沙
职位福利
大专5-10年

湖南星汉数智科技有限公司
A轮 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >





