职位详情
岗位职责:
1、负责从各类网站、用户平台、App等多类型数据源中进行数据抓取、内容提取及数据处理与维护。
2、分析不同数据源的反爬策略,持续优化采集性能与数据准确性,构建稳定、高效的数据采集体系。
3、参与后端数据服务模块开发,设计并落地数据接口方案,满足业务系统对数据的多样化需求。
任职要求:
1、计算机相关专业背景,具备5年以上工作经验(需为爬虫或数据采集相关方向)。
2、熟练掌握Python语言,精通至少一种主流爬虫框架(如Scrapy、PySpider等),熟悉常用技术工具(如BeautifulSoup、requests、Playwright、大模型内容抽取等)。
3、深入理解爬虫机制,具备应对请求特征(UA、账号、代理、流量等)、行为模式(访问路径、动态交互)、环境指纹(浏览器指纹、画布识别等)及验证码等反爬手段的实际解决方案能力。
4、至少掌握App逆向或Web逆向其中一项技能(如Frida/Xposed/Cycript等Hook技术,或抓包、JS逆向、浏览器模拟等),了解网络通信、数据结构、参数构造、会话管理及行为逻辑的逆向分析方法。
5、熟悉至少一种关系型数据库(MySQL/PostgreSQL)和非关系型数据库(MongoDB/Redis),并有实际项目应用经验。
1、负责从各类网站、用户平台、App等多类型数据源中进行数据抓取、内容提取及数据处理与维护。
2、分析不同数据源的反爬策略,持续优化采集性能与数据准确性,构建稳定、高效的数据采集体系。
3、参与后端数据服务模块开发,设计并落地数据接口方案,满足业务系统对数据的多样化需求。
任职要求:
1、计算机相关专业背景,具备5年以上工作经验(需为爬虫或数据采集相关方向)。
2、熟练掌握Python语言,精通至少一种主流爬虫框架(如Scrapy、PySpider等),熟悉常用技术工具(如BeautifulSoup、requests、Playwright、大模型内容抽取等)。
3、深入理解爬虫机制,具备应对请求特征(UA、账号、代理、流量等)、行为模式(访问路径、动态交互)、环境指纹(浏览器指纹、画布识别等)及验证码等反爬手段的实际解决方案能力。
4、至少掌握App逆向或Web逆向其中一项技能(如Frida/Xposed/Cycript等Hook技术,或抓包、JS逆向、浏览器模拟等),了解网络通信、数据结构、参数构造、会话管理及行为逻辑的逆向分析方法。
5、熟悉至少一种关系型数据库(MySQL/PostgreSQL)和非关系型数据库(MongoDB/Redis),并有实际项目应用经验。
2026-06-21 14:11
IP属地:湖南长沙
职位福利
大专5-10年

湖南星汉数智科技有限公司
A轮 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >





