职位详情
岗位职责:
1.负责设计、开发和维护高并发、高可用的网络爬虫系统,精准抓取目标网站结构化数据
2. 针对反爬机制(如验证码、JS渲染、IP限制等)进行策略分析与技术突破,保障数据采集稳定性
3.对爬取数据进行清洗、去重、格式标准化及存储优化,支持后续数据分析与业务应用
4. 配合产品与算法团队,提供高质量数据支撑,参与数据需求评估与采集方案设计
5.持续监控爬虫运行状态,及时响应异常,优化调度策略与资源利用率
任职要求:
1.熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2.熟悉HTTP协议、HTML/CSS/JavaScript解析原理,具备前端动态渲染页面抓取经验
3.了解常见反爬机制及应对方案,有代理IP、Cookie池、User-Agent轮换等实战经验
4. 具备MySQL/Redis/MongoDB等数据库操作能力,熟悉数据存储与批量处理逻辑
5.责任心强,具备良好的问题分析与跨团队协作能力,遵守网络安全与数据合规要求
1.负责设计、开发和维护高并发、高可用的网络爬虫系统,精准抓取目标网站结构化数据
2. 针对反爬机制(如验证码、JS渲染、IP限制等)进行策略分析与技术突破,保障数据采集稳定性
3.对爬取数据进行清洗、去重、格式标准化及存储优化,支持后续数据分析与业务应用
4. 配合产品与算法团队,提供高质量数据支撑,参与数据需求评估与采集方案设计
5.持续监控爬虫运行状态,及时响应异常,优化调度策略与资源利用率
任职要求:
1.熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2.熟悉HTTP协议、HTML/CSS/JavaScript解析原理,具备前端动态渲染页面抓取经验
3.了解常见反爬机制及应对方案,有代理IP、Cookie池、User-Agent轮换等实战经验
4. 具备MySQL/Redis/MongoDB等数据库操作能力,熟悉数据存储与批量处理逻辑
5.责任心强,具备良好的问题分析与跨团队协作能力,遵守网络安全与数据合规要求
2026-07-24 13:35
IP属地:天津
职位福利
本科经验不限

子乔(天津)网络科技发展有限公司

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
天津河东区招打孔
打孔
天津 河东区 唐口2026年07月29日 07:43

张先生
刚刚活跃天津滨海新区招打孔,工地学徒工,工地小工/杂工要求能上高,能打螺丝,室外干活,住宿有空调全天提供冰镇
100-200元/天
小工打螺丝打孔工地学徒工1-2人
天津 滨海新区2026年07月29日 07:43

唐先生
刚刚活跃天津西青区东丽区,层高三米六一层,一层四米,拆模要求分类堆码,拔钉子,倒料,我提供叉车,来个5/10人的
200-240元/天
小工1-2个月包住6-10人班组自备工具专业师傅
天津 西青区2026年07月29日 07:42

先生
刚刚活跃天津滨海新区招外墙保温
外墙保温1-2个月3-5人日结
天津 滨海新区2026年07月29日 07:42

先生
昨日活跃





