深圳·福田区
职位详情
岗位职责：
1. 负责网络数据采集的规划，按周期抓取指定网站信息；
2. 制定爬虫技术方案与反屏蔽机制，优化页面抓取效率与准确性；
3. 参与数据底层架构工作，聚焦垂直行业数据获取，完成多源平台的信息采集与分析；
4. 实现数据抽取、清洗、结构化处理、存储及统计分析等功能需求；
5. 维护并优化爬虫系统的稳定运行，提升系统可维护性与扩展能力。
任职要求：
1. 熟悉Linux环境下开发及命令行操作，具备独立部署与配置爬虫服务的能力；
2. 精通Python语言，掌握Scrapy与Flask框架，具备快速排查和解决异常的能力；
3. 熟练使用Redis、Mysql、Postgresql等数据库，了解其配置与调优方法；
4. 掌握正则表达式、XPath、CSS选择器，具备基本的JavaScript逆向分析技能；
5. 熟悉TCP/IP、HTTP等网络协议，有应对反爬机制实战经验者优先；
6. 具备独立处理开发中各类技术问题的能力，能提出有效改进策略以增强系统健壮性；
7. 本科及以上学历，具备大规模数据采集项目经验者优先考虑。
1. 负责网络数据采集的规划，按周期抓取指定网站信息；
2. 制定爬虫技术方案与反屏蔽机制，优化页面抓取效率与准确性；
3. 参与数据底层架构工作，聚焦垂直行业数据获取，完成多源平台的信息采集与分析；
4. 实现数据抽取、清洗、结构化处理、存储及统计分析等功能需求；
5. 维护并优化爬虫系统的稳定运行，提升系统可维护性与扩展能力。
任职要求：
1. 熟悉Linux环境下开发及命令行操作，具备独立部署与配置爬虫服务的能力；
2. 精通Python语言，掌握Scrapy与Flask框架，具备快速排查和解决异常的能力；
3. 熟练使用Redis、Mysql、Postgresql等数据库，了解其配置与调优方法；
4. 掌握正则表达式、XPath、CSS选择器，具备基本的JavaScript逆向分析技能；
5. 熟悉TCP/IP、HTTP等网络协议，有应对反爬机制实战经验者优先；
6. 具备独立处理开发中各类技术问题的能力，能提出有效改进策略以增强系统健壮性；
7. 本科及以上学历，具备大规模数据采集项目经验者优先考虑。
2026-08-14 13:35
IP属地：广东深圳
职位福利
本科3-5年ScrapyPostgreSQLMySQLRedisPythonFlask
深圳市雷鸟创新科技有限公司
未融资 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
全栈开发工程师（侧重后端）- AI多智能体平台
1.5-2.2万元/月
Python全栈工程师1-3年本科NginxDockerLinux开发/部署经验后端开发Kubernetes
深圳 福田区
收藏职位
