深圳·福田区
职位详情
【工作职责】
1、负责构建高效可靠的网络爬虫体系，实现跨平台、多形态数据的采集与处理。
2、深入分析各类反爬策略，如验证码拦截、IP限制、行为追踪等，确保数据抓取的连贯性与稳定性。
3、参与数据清洗、去重、存储及初步建模流程的设计与落地实施。
4、协同前后端团队，支持数据展示系统、数据管理后台及相关内部工具的开发与维护。
5、参与整体系统架构规划，优化任务调度机制与数据存储结构，提升系统效率与扩展能力。
6、关注爬虫与反爬技术演进，持续迭代数据采集方法与工具生态。
7、协助团队完成日常技术故障排查与系统运维保障工作。
【任职要求】
1、本科及以上学历，计算机科学、软件工程或相关专业背景。
2、拥有3年以上爬虫领域开发经验，掌握主流反爬应对手段。
3、具备全栈开发能力，熟悉前后端核心技术：
前端：熟练使用HTML/CSS/JavaScript，至少掌握Vue.js或React其中之一；
后端：精通Java及Spring Boot/Spring Cloud框架，或具备Node.js开发能力。
4、掌握数据抽取与清洗技术（如XPath、正则表达式、解析库等），有结构化与非结构化数据处理实践经验。
5、熟悉常用数据存储方案，包括关系型数据库（MySQL、PostgreSQL等）和NoSQL数据库（MongoDB、Redis等）。
6、理解网络协议及HTTP/HTTPS通信原理，能够解析请求响应过程，熟练使用抓包工具（如Charles、Fiddler等）。
【优先/加分条件】
1、熟练运用Python及主流爬虫框架（如Scrapy、Selenium、Playwright等），了解分布式爬虫基本原理。
2、具备分布式爬虫系统设计经验，熟悉消息队列（Kafka、RabbitMQ等）和任务调度机制。
1、负责构建高效可靠的网络爬虫体系，实现跨平台、多形态数据的采集与处理。
2、深入分析各类反爬策略，如验证码拦截、IP限制、行为追踪等，确保数据抓取的连贯性与稳定性。
3、参与数据清洗、去重、存储及初步建模流程的设计与落地实施。
4、协同前后端团队，支持数据展示系统、数据管理后台及相关内部工具的开发与维护。
5、参与整体系统架构规划，优化任务调度机制与数据存储结构，提升系统效率与扩展能力。
6、关注爬虫与反爬技术演进，持续迭代数据采集方法与工具生态。
7、协助团队完成日常技术故障排查与系统运维保障工作。
【任职要求】
1、本科及以上学历，计算机科学、软件工程或相关专业背景。
2、拥有3年以上爬虫领域开发经验，掌握主流反爬应对手段。
3、具备全栈开发能力，熟悉前后端核心技术：
前端：熟练使用HTML/CSS/JavaScript，至少掌握Vue.js或React其中之一；
后端：精通Java及Spring Boot/Spring Cloud框架，或具备Node.js开发能力。
4、掌握数据抽取与清洗技术（如XPath、正则表达式、解析库等），有结构化与非结构化数据处理实践经验。
5、熟悉常用数据存储方案，包括关系型数据库（MySQL、PostgreSQL等）和NoSQL数据库（MongoDB、Redis等）。
6、理解网络协议及HTTP/HTTPS通信原理，能够解析请求响应过程，熟练使用抓包工具（如Charles、Fiddler等）。
【优先/加分条件】
1、熟练运用Python及主流爬虫框架（如Scrapy、Selenium、Playwright等），了解分布式爬虫基本原理。
2、具备分布式爬虫系统设计经验，熟悉消息队列（Kafka、RabbitMQ等）和任务调度机制。
2026-06-10 13:38
IP属地：广东深圳
职位福利
本科3-5年前端开发Java后端开发JavaScriptVuereact
深圳市乐有家控股集团有限公司
不需要融资 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
