广州·番禺区
职位详情
一、岗位职责
爬虫架构设计与优化：主导公司现有爬虫系统的技术升级，改进数据采集架构，增强系统的稳定性、可扩展性及运行效率，攻克大规模采集场景中的关键技术难题。
数据采集策略规划：根据业务目标（如采购决策分析、市场趋势洞察），制定可持续的数据采集计划，确保所获取数据具备高价值与高时效，有效支撑核心业务决策。
反爬机制突破与应对：深入研究目标站点的反爬策略（如 IP 限制、验证码、动态渲染），提出切实可行的应对方案，涵盖代理池构建、验证码识别集成、动态页面解析等技术手段。
数据质量全流程管控：建立数据完整性、准确性与一致性的检验规范，提供数据清洗、存储结构设计及索引优化建议，确保数据资产的高质量与可用性。
分布式爬取性能优化：设计并实施分布式爬虫架构，优化任务调度机制，减少服务器资源占用，提升高并发环境下大批量采集任务的执行效率。
技术迭代与经验分享：密切关注爬虫领域新技术发展（如 AI 辅助反爬、高效解析框架），结合实际业务引入创新方案；定期组织技术交流，推动团队整体开发能力提升。
合规与安全保障：掌握爬虫相关法律法规（如数据安全法、个人信息保护法），保障数据采集流程合法合规，识别潜在法律风险，并提供相应的技术合规建议。
二、任职要求
技术基础扎实：具有丰富的爬虫开发实践，精通 Python 编程语言，熟练使用 Scrapy、Selenium、BeautifulSoup、Playwright 等主流爬虫工具与框架。
反爬攻防能力突出：熟悉各类反爬机制（如代理 IP 应用、UA 模拟、JavaScript 动态加载、滑块验证等），具备成熟的反爬解决方案落地经验。
数据处理与存储经验：具备处理海量数据的能力，熟悉 MySQL、MongoDB、Elasticsearch、Redis 等数据库的使用与调优，能针对性地设计数据存储与查询架构。
分布式技术能力：掌握 Celery、Kafka、RabbitMQ 等分布式任务调度组件，有在高并发、大数据量项目中进行性能优化的实际经验。
团队协作与沟通：具备良好的跨部门协作意识与沟通能力，能够清晰表达技术思路，有效指导开发团队推进项目落地，助力团队技术成长。
行业经验优先：具备电子元器件等行业数据采集背景者优先，能依据行业特点制定定制化采集策略。
合规意识强烈：了解数据采集相关法律法规，有依法依规开展爬虫项目的实践经验，具备主动识别和规避法律风险的能力。
三、优先考虑条件
参与过大型数据采集平台或市场分析系统的架构设计或核心开发工作；
具备机器学习或数据挖掘基础，能从采集数据中挖掘高价值信息（如用户行为分析、市场需求预测）；
拥有海外电商、外贸领域数据采集经验，熟悉国际网站的信息获取方式及技术特性。
四、投递须知
如您满足以上条件，并可接受在广州全职到岗，欢迎提交简历！我们期待与您共同构建高效、安全、合规的数据采集体系，为业务发展提供坚实的技术支撑～
爬虫架构设计与优化：主导公司现有爬虫系统的技术升级，改进数据采集架构，增强系统的稳定性、可扩展性及运行效率，攻克大规模采集场景中的关键技术难题。
数据采集策略规划：根据业务目标（如采购决策分析、市场趋势洞察），制定可持续的数据采集计划，确保所获取数据具备高价值与高时效，有效支撑核心业务决策。
反爬机制突破与应对：深入研究目标站点的反爬策略（如 IP 限制、验证码、动态渲染），提出切实可行的应对方案，涵盖代理池构建、验证码识别集成、动态页面解析等技术手段。
数据质量全流程管控：建立数据完整性、准确性与一致性的检验规范，提供数据清洗、存储结构设计及索引优化建议，确保数据资产的高质量与可用性。
分布式爬取性能优化：设计并实施分布式爬虫架构，优化任务调度机制，减少服务器资源占用，提升高并发环境下大批量采集任务的执行效率。
技术迭代与经验分享：密切关注爬虫领域新技术发展（如 AI 辅助反爬、高效解析框架），结合实际业务引入创新方案；定期组织技术交流，推动团队整体开发能力提升。
合规与安全保障：掌握爬虫相关法律法规（如数据安全法、个人信息保护法），保障数据采集流程合法合规，识别潜在法律风险，并提供相应的技术合规建议。
二、任职要求
技术基础扎实：具有丰富的爬虫开发实践，精通 Python 编程语言，熟练使用 Scrapy、Selenium、BeautifulSoup、Playwright 等主流爬虫工具与框架。
反爬攻防能力突出：熟悉各类反爬机制（如代理 IP 应用、UA 模拟、JavaScript 动态加载、滑块验证等），具备成熟的反爬解决方案落地经验。
数据处理与存储经验：具备处理海量数据的能力，熟悉 MySQL、MongoDB、Elasticsearch、Redis 等数据库的使用与调优，能针对性地设计数据存储与查询架构。
分布式技术能力：掌握 Celery、Kafka、RabbitMQ 等分布式任务调度组件，有在高并发、大数据量项目中进行性能优化的实际经验。
团队协作与沟通：具备良好的跨部门协作意识与沟通能力，能够清晰表达技术思路，有效指导开发团队推进项目落地，助力团队技术成长。
行业经验优先：具备电子元器件等行业数据采集背景者优先，能依据行业特点制定定制化采集策略。
合规意识强烈：了解数据采集相关法律法规，有依法依规开展爬虫项目的实践经验，具备主动识别和规避法律风险的能力。
三、优先考虑条件
参与过大型数据采集平台或市场分析系统的架构设计或核心开发工作；
具备机器学习或数据挖掘基础，能从采集数据中挖掘高价值信息（如用户行为分析、市场需求预测）；
拥有海外电商、外贸领域数据采集经验，熟悉国际网站的信息获取方式及技术特性。
四、投递须知
如您满足以上条件，并可接受在广州全职到岗，欢迎提交简历！我们期待与您共同构建高效、安全、合规的数据采集体系，为业务发展提供坚实的技术支撑～
2026-05-22 14:54
IP属地：广东广州
职位福利
大专1年以下
广州加创商贸有限公司
0-20人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
