职位详情
岗位职责:
1. 设计并开发高效、稳定的网络爬虫系统,采集多源异构数据以支持公司产业研究与投资分析
2. 针对反爬机制(如JS渲染、验证码、动态加密等)进行技术攻关,保障数据获取的持续性与准确性
3. 对采集数据进行清洗、去重、结构化处理,并对接内部数据分析平台完成入库与标注
4. 持续优化爬虫性能,包括并发控制、请求调度、异常重试及资源占用管理
5. 遵循法律法规与网站Robots协议,确保数据采集合规、安全、可追溯
任职要求:
1. 熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2. 具备前端逆向分析能力,能解析JavaScript加密逻辑与接口参数生成机制
3. 熟悉MySQL/Redis/MongoDB等数据库,具备基本SQL编写与数据建模能力
4. 了解HTTP协议、Cookie机制、代理IP池构建及分布式爬虫架构者优先
5. 责任心强,具备良好的逻辑思维与问题解决能力,认同公司诚信、专业的价值观
1. 设计并开发高效、稳定的网络爬虫系统,采集多源异构数据以支持公司产业研究与投资分析
2. 针对反爬机制(如JS渲染、验证码、动态加密等)进行技术攻关,保障数据获取的持续性与准确性
3. 对采集数据进行清洗、去重、结构化处理,并对接内部数据分析平台完成入库与标注
4. 持续优化爬虫性能,包括并发控制、请求调度、异常重试及资源占用管理
5. 遵循法律法规与网站Robots协议,确保数据采集合规、安全、可追溯
任职要求:
1. 熟练掌握Python,熟悉Scrapy、Requests、Selenium、Playwright等主流爬虫框架与工具
2. 具备前端逆向分析能力,能解析JavaScript加密逻辑与接口参数生成机制
3. 熟悉MySQL/Redis/MongoDB等数据库,具备基本SQL编写与数据建模能力
4. 了解HTTP协议、Cookie机制、代理IP池构建及分布式爬虫架构者优先
5. 责任心强,具备良好的逻辑思维与问题解决能力,认同公司诚信、专业的价值观
2026-04-18 14:11
IP属地:广东
职位福利
本科经验不限

深圳汇富九州资本控股有限公司
A轮 · 500-999人

工作地址

鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
武汉大疆280/天-月入7500+吃住全免
5000-8000元/月
组装工加班补贴五险一金包住包吃夜班补贴20人以上月结坐班
武汉 硚口区2026年06月06日 14:43

郭女士 · 武汉喵白科技有限公司刚刚活跃









