职位详情
岗位职责:
1.负责设计、开发和维护高并发、高可用的网络爬虫系统,精准抓取目标网站结构化数据
2. 针对反爬机制(如验证码、JS渲染、IP限制等)进行策略分析与技术突破,保障数据采集稳定性
3.对爬取数据进行清洗、去重、格式标准化及存储优化,支持后续数据分析与业务应用
4. 配合产品与算法团队,提供高质量数据支撑,参与数据需求评估与采集方案设计
5.持续监控爬虫运行状态,及时响应异常,优化调度策略与资源利用率
任职要求:
1.熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2.熟悉HTTP协议、HTML/CSS/JavaScript解析原理,具备前端动态渲染页面抓取经验
3.了解常见反爬机制及应对方案,有代理IP、Cookie池、User-Agent轮换等实战经验
4. 具备MySQL/Redis/MongoDB等数据库操作能力,熟悉数据存储与批量处理逻辑
5.责任心强,具备良好的问题分析与跨团队协作能力,遵守网络安全与数据合规要求
1.负责设计、开发和维护高并发、高可用的网络爬虫系统,精准抓取目标网站结构化数据
2. 针对反爬机制(如验证码、JS渲染、IP限制等)进行策略分析与技术突破,保障数据采集稳定性
3.对爬取数据进行清洗、去重、格式标准化及存储优化,支持后续数据分析与业务应用
4. 配合产品与算法团队,提供高质量数据支撑,参与数据需求评估与采集方案设计
5.持续监控爬虫运行状态,及时响应异常,优化调度策略与资源利用率
任职要求:
1.熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2.熟悉HTTP协议、HTML/CSS/JavaScript解析原理,具备前端动态渲染页面抓取经验
3.了解常见反爬机制及应对方案,有代理IP、Cookie池、User-Agent轮换等实战经验
4. 具备MySQL/Redis/MongoDB等数据库操作能力,熟悉数据存储与批量处理逻辑
5.责任心强,具备良好的问题分析与跨团队协作能力,遵守网络安全与数据合规要求
2026-09-07 13:52
IP属地:天津
职位福利
本科经验不限

子乔(天津)网络科技发展有限公司

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
天津河北区招腻子/大白/墙漆
腻子工大白工
天津 河北区 南市2026年09月12日 22:05

葛先生
刚刚活跃天津东丽区招电梯安装
1.2-1.5万元/月
安装电梯长期11-20人月结
天津 东丽区2026年09月12日 21:59

先生
刚刚活跃天津红桥区招砌砖/石、建筑承包
砌砖建筑承包
天津 红桥区2026年09月12日 21:57

孟先生
刚刚活跃




