深圳·龙岗区
职位详情
岗位要求：
1、参与数据分析和挖掘，为运营、市场等部门提供数据支持。
2、负责电商平台及竞品网站的数据爬取、清洗和存储工作。
3、设计并优化高效稳定的爬虫系统，应对反爬机制（验证码、IP封锁、动态渲染等）；
4、研究新兴爬虫技术及反爬策略，持续提升数据获取能力。
5、监控爬虫运行状态，及时处理异常，保障数据采集的时效性和准确性。
任职要求：
1、本科及以上学历，计算机、软件工程等相关专业，
2、3年以上爬虫开发经验，熟练掌握Python（Scrapy、Requests、BeautifulSoup等框架/库），熟悉分布式爬虫（如Scrapy-Redis）；
3、熟悉动态页面抓取技术（Selenium、Playwright、Puppeteer等）；
4、了解常见反爬手段（User-Agent限制、IP代理池、验证码识别等）及突破方案；
5、掌握数据清洗与存储（MySQL、MongoDB、Redis等），熟悉数据结构优化；
6、了解HTTP/HTTPS协议、XPath/CSS选择器、正则表达式等；
7、熟悉电商行业数据字段（商品详情、评论、销量、店铺信息等）及采集逻辑；
8、具备良好的逻辑思维和问题解决能力，能独立应对复杂爬虫场景；
9、了解数据安全与合规要求，遵守Robots协议及相关法律法规；
加分项：
1、熟悉JavaScript逆向分析或RPA工具。
2、有大型电商平台爬虫项目经验者优先。
3、有高并发、分布式爬虫系统设计经验。
4、熟悉机器学习在反爬对抗中的应用（如验证码识别）。
5、了解电商行业数据分析方法（如价格监控、竞品分析）。
工作说明：
1.大小周，早9晚18：30；
2.包午餐，加班餐，全天零食，每周下午茶
1、参与数据分析和挖掘，为运营、市场等部门提供数据支持。
2、负责电商平台及竞品网站的数据爬取、清洗和存储工作。
3、设计并优化高效稳定的爬虫系统，应对反爬机制（验证码、IP封锁、动态渲染等）；
4、研究新兴爬虫技术及反爬策略，持续提升数据获取能力。
5、监控爬虫运行状态，及时处理异常，保障数据采集的时效性和准确性。
任职要求：
1、本科及以上学历，计算机、软件工程等相关专业，
2、3年以上爬虫开发经验，熟练掌握Python（Scrapy、Requests、BeautifulSoup等框架/库），熟悉分布式爬虫（如Scrapy-Redis）；
3、熟悉动态页面抓取技术（Selenium、Playwright、Puppeteer等）；
4、了解常见反爬手段（User-Agent限制、IP代理池、验证码识别等）及突破方案；
5、掌握数据清洗与存储（MySQL、MongoDB、Redis等），熟悉数据结构优化；
6、了解HTTP/HTTPS协议、XPath/CSS选择器、正则表达式等；
7、熟悉电商行业数据字段（商品详情、评论、销量、店铺信息等）及采集逻辑；
8、具备良好的逻辑思维和问题解决能力，能独立应对复杂爬虫场景；
9、了解数据安全与合规要求，遵守Robots协议及相关法律法规；
加分项：
1、熟悉JavaScript逆向分析或RPA工具。
2、有大型电商平台爬虫项目经验者优先。
3、有高并发、分布式爬虫系统设计经验。
4、熟悉机器学习在反爬对抗中的应用（如验证码识别）。
5、了解电商行业数据分析方法（如价格监控、竞品分析）。
工作说明：
1.大小周，早9晚18：30；
2.包午餐，加班餐，全天零食，每周下午茶
2026-06-26 13:02
IP属地：广东
职位福利
本科3-5年
广东西之月网络科技有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
爬虫开发工程师
1-1.5万元/月
爬虫工程师1-3年本科Java爬虫开发反爬虫分布式爬虫数据采集KafkaSeleniumPLAYWRIGHTAISPRINGMVCDubbo
深圳 龙岗区
收藏职位
