深圳·宝安区
职位详情
我们是一家有十五年跨境经验的电商公司，经营稳健，公司已经成为了一家有诸多品牌积累、店铺积累的垂类跨境电商公司。目前我们专注于家居纺织领域，产品包括家居服、浴袍等产品，自主设计研发。
目前公司员工数稳定在50余人。
公司因发展需要，计划打造跨境电商ai应用模型，为跨境电商公司服务。
【岗位职责】
负责跨境电商千万级日均数据采集系统的开发、逆向优化、集群运维与迭代，支撑公司跨境AI模型底层数据体系搭建，核心职责如下：
1. 独立开发、维护高并发数据采集脚本，适配亚马逊多站点、eBay、阿里等平台，完成日均千万级合规数据采集与解析，熟练处理AJAX异步动态数据抓取；
2. 落地RPA自动化流程，实现数据采集、清洗、处理全流程自动化，结合AI编程工具提升开发与迭代效率；
3. 负责Docker、K3s集群化部署与运维，完成采集任务调度、扩容、故障排查，保障大规模采集服务稳定运行；
4. 持续迭代反爬与反检测策略，应对页面结构变更、验证码、平台风控等问题，搭建并优化代理基础设施，处理封禁、替换与扩容工作；
5. 基于业务与AI模型研发需求，持续拓展采集站点、新增采集字段，迭代优化亚马逊全站点采集系统。
【任职要求】
1. 本科及以上计算机、软件工程等相关专业，3年以上Python爬虫开发实战经验，具备大规模跨境平台采集项目落地经验；
2. 精通动态网页抓取原理，熟悉HTML/CSS/JS前端基础，可独立解决异步数据抓取、页面适配等各类采集难点；
3. 具备RPA自动化流程设计落地能力，熟练借助AI工具优化代码开发、迭代效率；
4. 熟悉亚马逊等跨境平台数据结构，优先有亚马逊多站点采集运维经验；
5. 逻辑清晰、问题排查能力强，可适配复杂网络环境，独立搭建稳定高效的采集方案，具备良好团队协作能力。
【必备技能条件】
1. 核心编程能力：熟练Python3.11，精通多线程、asyncio异步并发编程，可独立开发高并发采集脚本；
2. 爬虫反爬能力：具备规模化爬虫项目经验，熟练IP代理调度、请求头伪装、Cookie管理等基础反检测策略，可应对常规平台风控；
3. 容器化运维能力：掌握Docker镜像构建与部署，熟练kubectl常用运维命令（logs、exec、scale、apply）；
4. 消息队列能力：熟悉RabbitMQ等消息队列核心用法，可适配分布式采集任务调度场景；
5. 数据处理能力：熟练Scrapy、Playwright、Requests爬虫框架，掌握Pandas、NumPy数据处理工具，了解基础机器学习、数据挖掘算法；
6. 优化迭代能力：具备高并发采集脚本性能调优、算法优化能力，持续学习新技术，可落地AI赋能开发场景。
【加分项】
1. 具备大型知名网站逆向破解、高难度数据抓取、反风控实战经验；
2. 了解TLS指纹（JA3/JA4）、Client Hints等进阶反检测、指纹伪装技术；
3. 有Kubernetes/K3s集群服务部署、运维实战经验；
4. 了解IPv6代理原理，有Terraform、Ansible自动化运维工具使用经验；
【核心技术栈】
Python 3.11、RabbitMQ、Redis、ZeroMQ、K3s、Docker、MinIO
【重要说明】
不接受线上面试！入职面试均为线下，介意者勿投！
目前公司员工数稳定在50余人。
公司因发展需要，计划打造跨境电商ai应用模型，为跨境电商公司服务。
【岗位职责】
负责跨境电商千万级日均数据采集系统的开发、逆向优化、集群运维与迭代，支撑公司跨境AI模型底层数据体系搭建，核心职责如下：
1. 独立开发、维护高并发数据采集脚本，适配亚马逊多站点、eBay、阿里等平台，完成日均千万级合规数据采集与解析，熟练处理AJAX异步动态数据抓取；
2. 落地RPA自动化流程，实现数据采集、清洗、处理全流程自动化，结合AI编程工具提升开发与迭代效率；
3. 负责Docker、K3s集群化部署与运维，完成采集任务调度、扩容、故障排查，保障大规模采集服务稳定运行；
4. 持续迭代反爬与反检测策略，应对页面结构变更、验证码、平台风控等问题，搭建并优化代理基础设施，处理封禁、替换与扩容工作；
5. 基于业务与AI模型研发需求，持续拓展采集站点、新增采集字段，迭代优化亚马逊全站点采集系统。
【任职要求】
1. 本科及以上计算机、软件工程等相关专业，3年以上Python爬虫开发实战经验，具备大规模跨境平台采集项目落地经验；
2. 精通动态网页抓取原理，熟悉HTML/CSS/JS前端基础，可独立解决异步数据抓取、页面适配等各类采集难点；
3. 具备RPA自动化流程设计落地能力，熟练借助AI工具优化代码开发、迭代效率；
4. 熟悉亚马逊等跨境平台数据结构，优先有亚马逊多站点采集运维经验；
5. 逻辑清晰、问题排查能力强，可适配复杂网络环境，独立搭建稳定高效的采集方案，具备良好团队协作能力。
【必备技能条件】
1. 核心编程能力：熟练Python3.11，精通多线程、asyncio异步并发编程，可独立开发高并发采集脚本；
2. 爬虫反爬能力：具备规模化爬虫项目经验，熟练IP代理调度、请求头伪装、Cookie管理等基础反检测策略，可应对常规平台风控；
3. 容器化运维能力：掌握Docker镜像构建与部署，熟练kubectl常用运维命令（logs、exec、scale、apply）；
4. 消息队列能力：熟悉RabbitMQ等消息队列核心用法，可适配分布式采集任务调度场景；
5. 数据处理能力：熟练Scrapy、Playwright、Requests爬虫框架，掌握Pandas、NumPy数据处理工具，了解基础机器学习、数据挖掘算法；
6. 优化迭代能力：具备高并发采集脚本性能调优、算法优化能力，持续学习新技术，可落地AI赋能开发场景。
【加分项】
1. 具备大型知名网站逆向破解、高难度数据抓取、反风控实战经验；
2. 了解TLS指纹（JA3/JA4）、Client Hints等进阶反检测、指纹伪装技术；
3. 有Kubernetes/K3s集群服务部署、运维实战经验；
4. 了解IPv6代理原理，有Terraform、Ansible自动化运维工具使用经验；
【核心技术栈】
Python 3.11、RabbitMQ、Redis、ZeroMQ、K3s、Docker、MinIO
【重要说明】
不接受线上面试！入职面试均为线下，介意者勿投！
2026-05-29 11:20
IP属地：广东
职位福利
本科3-5年亚马逊跨境电商沃尔玛
深圳无碍物联网有限公司
未融资 · 20-99人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
爬虫开发工程师
1-1.5万元/月
爬虫工程师1-3年本科Java爬虫开发反爬虫分布式爬虫数据采集KafkaSeleniumPLAYWRIGHTAISPRINGMVCDubbo
深圳 龙岗区
黄女士 · 世强5日内活跃
收藏职位
