深圳·福田区
职位详情
岗位职责：
1. 负责网络数据采集的规划，按周期抓取指定网站信息；
2. 制定爬虫技术方案与反屏蔽机制，优化页面抓取效率与准确性；
3. 参与数据底层架构工作，聚焦垂直行业数据获取，完成多源平台的信息采集与分析；
4. 实现数据抽取、清洗、结构化处理、存储及统计分析等功能需求；
5. 维护并优化爬虫系统的稳定运行，提升系统可维护性与扩展能力。
任职要求：
1. 熟悉Linux环境下开发及命令行操作，具备独立部署与配置爬虫服务的能力；
2. 精通Python语言，掌握Scrapy与Flask框架，具备快速排查和解决异常的能力；
3. 熟练使用Redis、Mysql、Postgresql等数据库，了解其配置与调优方法；
4. 掌握正则表达式、XPath、CSS选择器，具备基本的JavaScript逆向分析技能；
5. 熟悉TCP/IP、HTTP等网络协议，有应对反爬机制实战经验者优先；
6. 具备独立处理开发中各类技术问题的能力，能提出有效改进策略以增强系统健壮性；
7. 本科及以上学历，具备大规模数据采集项目经验者优先考虑。
1. 负责网络数据采集的规划，按周期抓取指定网站信息；
2. 制定爬虫技术方案与反屏蔽机制，优化页面抓取效率与准确性；
3. 参与数据底层架构工作，聚焦垂直行业数据获取，完成多源平台的信息采集与分析；
4. 实现数据抽取、清洗、结构化处理、存储及统计分析等功能需求；
5. 维护并优化爬虫系统的稳定运行，提升系统可维护性与扩展能力。
任职要求：
1. 熟悉Linux环境下开发及命令行操作，具备独立部署与配置爬虫服务的能力；
2. 精通Python语言，掌握Scrapy与Flask框架，具备快速排查和解决异常的能力；
3. 熟练使用Redis、Mysql、Postgresql等数据库，了解其配置与调优方法；
4. 掌握正则表达式、XPath、CSS选择器，具备基本的JavaScript逆向分析技能；
5. 熟悉TCP/IP、HTTP等网络协议，有应对反爬机制实战经验者优先；
6. 具备独立处理开发中各类技术问题的能力，能提出有效改进策略以增强系统健壮性；
7. 本科及以上学历，具备大规模数据采集项目经验者优先考虑。
2026-05-16 13:32
IP属地：广东深圳
职位福利
本科3-5年ScrapyPostgreSQLMySQLRedisPythonFlask
深圳市雷鸟创新科技有限公司
未融资 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
Python开发工程师
1.2-2万元/月
Python3-5年本科PyTorch分布式经验ElasticsearchMySQLKafka架构设计经验Linux开发/部署经验
深圳 福田区
唐先生 · 睿服科技今日活跃
python开发工程师
1.1-1.3万元/月
Python1-3年大专Type HintingAsyncIOPython 3DjangoPostgreSQL
深圳 福田区 景田
收藏职位
