郑州·中原区
职位详情
职位描述：
1、负责网络爬虫系统平台的整体架构设计与开发工作，包括任务调度、多类型数据抓取、页面解析及结构化信息提取，并完成相关技术方案的选型；
2、深入研究爬虫对抗策略与防屏蔽机制，突破账号封禁、IP限制、验证码干扰、数据混淆加密、算法逆向、so层防护、页面重定向等关键技术难题，持续提升数据采集的稳定性与准确性；
3、对采集后的原始数据进行清洗、去重与存储处理，并不断优化系统性能，确保平台可灵活支持多样化的数据抓取业务场景。
岗位要求：
1. 精通Linux/UNIX操作系统，熟练掌握Python编程语言，至少精通一种主流爬虫框架；
2. 熟悉常见加密方式，具备丰富的验证码破解经验，能独立应对JavaScript反爬机制和模拟登录技术挑战；
3. 熟练运用正则表达式、XPath、CSS选择器等技术进行网页内容提取；
4. 掌握常见的反爬应对方法，包括验证码识别、IP代理池构建、应用级IP管理、headers验证及Cookie处理等；
5. 能够熟练使用Selenium、PhantomJS、Splash、Puppeteer等工具实现动态页面数据抓取；
6. 有使用charles、fiddler等网络抓包工具经验者优先考虑；
7. 具备数据清洗能力，能运用numpy、pandas、jieba等工具进行数据预处理者优先；
8. 熟悉mysql、mongodb、redis、rabbitMQ、kafka、spark等技术栈者优先录用；
1、负责网络爬虫系统平台的整体架构设计与开发工作，包括任务调度、多类型数据抓取、页面解析及结构化信息提取，并完成相关技术方案的选型；
2、深入研究爬虫对抗策略与防屏蔽机制，突破账号封禁、IP限制、验证码干扰、数据混淆加密、算法逆向、so层防护、页面重定向等关键技术难题，持续提升数据采集的稳定性与准确性；
3、对采集后的原始数据进行清洗、去重与存储处理，并不断优化系统性能，确保平台可灵活支持多样化的数据抓取业务场景。
岗位要求：
1. 精通Linux/UNIX操作系统，熟练掌握Python编程语言，至少精通一种主流爬虫框架；
2. 熟悉常见加密方式，具备丰富的验证码破解经验，能独立应对JavaScript反爬机制和模拟登录技术挑战；
3. 熟练运用正则表达式、XPath、CSS选择器等技术进行网页内容提取；
4. 掌握常见的反爬应对方法，包括验证码识别、IP代理池构建、应用级IP管理、headers验证及Cookie处理等；
5. 能够熟练使用Selenium、PhantomJS、Splash、Puppeteer等工具实现动态页面数据抓取；
6. 有使用charles、fiddler等网络抓包工具经验者优先考虑；
7. 具备数据清洗能力，能运用numpy、pandas、jieba等工具进行数据预处理者优先；
8. 熟悉mysql、mongodb、redis、rabbitMQ、kafka、spark等技术栈者优先录用；
2026-07-29 13:27
IP属地：河南郑州
职位福利
本科3-5年
河南初安科技服务有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
