东莞
职位详情
岗位职责:
1. 设计并开发高效稳定的大数据爬虫系统，实现对多源网络数据的自动化采集。
2. 针对各类反爬机制进行技术应对，优化爬取策略以确保数据获取的连续性与完整性。
3. 搭建分布式爬虫架构，支持海量数据的高并发抓取与存储处理。
4. 对采集到的数据进行初步清洗与结构化转换，保障数据质量符合后续分析标准。
5. 持续监控网页结构及安全策略变动，及时调整爬虫技术方案以适应变化。
任职要求：
1. 具备良好沟通能力，能按时完成上级交办的各项任务；
2. 具有团队协作意识，能够快速融入团队工作环境；
3. 学习能力强，善于总结并持续优化工作流程与方法。
1. 设计并开发高效稳定的大数据爬虫系统，实现对多源网络数据的自动化采集。
2. 针对各类反爬机制进行技术应对，优化爬取策略以确保数据获取的连续性与完整性。
3. 搭建分布式爬虫架构，支持海量数据的高并发抓取与存储处理。
4. 对采集到的数据进行初步清洗与结构化转换，保障数据质量符合后续分析标准。
5. 持续监控网页结构及安全策略变动，及时调整爬虫技术方案以适应变化。
任职要求：
1. 具备良好沟通能力，能按时完成上级交办的各项任务；
2. 具有团队协作意识，能够快速融入团队工作环境；
3. 学习能力强，善于总结并持续优化工作流程与方法。
2026-07-29 13:34
IP属地：广东东莞
职位福利
本科1-3年Python爬虫开发分布式爬虫HeritrixNutchWebMagicScrapyFlaskDjangoTornadoKettle
软通动力信息技术（集团）股份有限公司
已上市 · 10000人以上
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
