广州·番禺区
职位详情
岗位职责：
爬虫架构设计与优化：为公司现有爬虫系统提供技术支撑，优化数据抓取架构，提升系统的稳定性、可扩展性及运行效率。
策略规划与实施：结合业务发展需要，制定可持续的数据采集战略，确保所获取数据具备高价值与高时效性，有效支持采购决策分析。
反爬机制分析与应对：深入研究目标站点的反爬技术手段，为团队输出有效的技术对策，如代理池构建、验证码识别、动态页面渲染处理等解决方案。
数据质量保障：确保采集数据的完整、准确与一致，指导团队实施高效的数据清洗、存储结构设计及索引性能优化。
分布式采集与性能调优：设计并落地分布式爬虫架构，优化任务执行效率，减少服务器资源占用，加快数据采集速度。
技术演进与知识传递：持续关注爬虫领域前沿技术，结合实际业务场景，推动先进数据采集与分析方法的应用落地。
合规与安全评估：评估数据抓取行为的合法性与安全性，规避潜在法律风险，提出符合规范的操作建议。
任职要求：
扎实的爬虫开发背景：具备丰富的爬虫实战经验，熟练掌握Python语言，精通Scrapy、Selenium、BeautifulSoup、Playwright等主流爬虫工具。
反爬对抗能力：熟悉各类网站反爬机制及其破解方式，包括IP代理轮换、UA伪装、JavaScript解析、动态内容加载处理、验证码应对等技术。
数据处理与存储调优：拥有大规模数据处理实践经验，熟悉MySQL、MongoDB、Elasticsearch、Redis等数据库技术，能有效优化数据存取性能。
分布式采集经验：掌握Celery、Kafka、RabbitMQ等分布式任务调度框架，有高并发、大数据量采集系统的优化经历。
团队协作与指导能力：具备良好的沟通协调能力，能够带领技术团队完成爬虫系统建设与能力提升。
行业背景优先：具有电子元器件、建材、家居、电商平台等相关领域数据采集经验者优先，能根据具体业务定制化采集方案。
合规意识强：了解网络数据采集相关法律法规，具备合法合规开展数据抓取工作的实践经验。
优先考虑：
有大型数据采集平台或市场情报系统架构设计经验者。
具备机器学习或数据挖掘技能，能从海量数据中提炼有效信息。
拥有海外电商、跨境贸易数据采集经验，熟悉国际市场的数据获取路径与方法。
爬虫架构设计与优化：为公司现有爬虫系统提供技术支撑，优化数据抓取架构，提升系统的稳定性、可扩展性及运行效率。
策略规划与实施：结合业务发展需要，制定可持续的数据采集战略，确保所获取数据具备高价值与高时效性，有效支持采购决策分析。
反爬机制分析与应对：深入研究目标站点的反爬技术手段，为团队输出有效的技术对策，如代理池构建、验证码识别、动态页面渲染处理等解决方案。
数据质量保障：确保采集数据的完整、准确与一致，指导团队实施高效的数据清洗、存储结构设计及索引性能优化。
分布式采集与性能调优：设计并落地分布式爬虫架构，优化任务执行效率，减少服务器资源占用，加快数据采集速度。
技术演进与知识传递：持续关注爬虫领域前沿技术，结合实际业务场景，推动先进数据采集与分析方法的应用落地。
合规与安全评估：评估数据抓取行为的合法性与安全性，规避潜在法律风险，提出符合规范的操作建议。
任职要求：
扎实的爬虫开发背景：具备丰富的爬虫实战经验，熟练掌握Python语言，精通Scrapy、Selenium、BeautifulSoup、Playwright等主流爬虫工具。
反爬对抗能力：熟悉各类网站反爬机制及其破解方式，包括IP代理轮换、UA伪装、JavaScript解析、动态内容加载处理、验证码应对等技术。
数据处理与存储调优：拥有大规模数据处理实践经验，熟悉MySQL、MongoDB、Elasticsearch、Redis等数据库技术，能有效优化数据存取性能。
分布式采集经验：掌握Celery、Kafka、RabbitMQ等分布式任务调度框架，有高并发、大数据量采集系统的优化经历。
团队协作与指导能力：具备良好的沟通协调能力，能够带领技术团队完成爬虫系统建设与能力提升。
行业背景优先：具有电子元器件、建材、家居、电商平台等相关领域数据采集经验者优先，能根据具体业务定制化采集方案。
合规意识强：了解网络数据采集相关法律法规，具备合法合规开展数据抓取工作的实践经验。
优先考虑：
有大型数据采集平台或市场情报系统架构设计经验者。
具备机器学习或数据挖掘技能，能从海量数据中提炼有效信息。
拥有海外电商、跨境贸易数据采集经验，熟悉国际市场的数据获取路径与方法。
2026-06-26 13:25
IP属地：广东广州
职位福利
本科1-3年
广州加创商贸有限公司
0-20人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
