职位详情
职位描述:
-根据业务需求,负责构建与维护分布式网络爬虫架构,并完成数据清洗与信息提取;
-制定高效的爬取策略及反屏蔽机制,优化页面抓取速度与数据准确性;
-独立分析并处理开发过程中出现的各类技术难题;
任职资格:
-计算机相关专业本科及以上学历,具备2年以上爬虫系统开发经历;
-精通Python及计算机网络知识,掌握多线程编程,熟练运用Scrapy等主流爬虫框架;
-熟悉Linux环境操作,掌握正则表达式、Mysql、MongoDB、Redis等常用数据库与缓存技术;
-具备应对账号封禁、IP限制、验证码破解、图像解析等反爬问题的实战能力;
-拥有良好的沟通技巧和团队协作精神;
-需具备群控系统的实际项目经验;
加分项:
-掌握docker容器化技术者优先;
-有php/nodejs/go等其他语言实际开发经验者优先;
-根据业务需求,负责构建与维护分布式网络爬虫架构,并完成数据清洗与信息提取;
-制定高效的爬取策略及反屏蔽机制,优化页面抓取速度与数据准确性;
-独立分析并处理开发过程中出现的各类技术难题;
任职资格:
-计算机相关专业本科及以上学历,具备2年以上爬虫系统开发经历;
-精通Python及计算机网络知识,掌握多线程编程,熟练运用Scrapy等主流爬虫框架;
-熟悉Linux环境操作,掌握正则表达式、Mysql、MongoDB、Redis等常用数据库与缓存技术;
-具备应对账号封禁、IP限制、验证码破解、图像解析等反爬问题的实战能力;
-拥有良好的沟通技巧和团队协作精神;
-需具备群控系统的实际项目经验;
加分项:
-掌握docker容器化技术者优先;
-有php/nodejs/go等其他语言实际开发经验者优先;
2025-11-19 16:13
IP属地:广东广州
职位福利
本科3-5年Python

广州魔方文化集团有限公司
20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
8千-1.3万/月
爬虫工程师1-3年本科互联网平台网约车出行平台
广州 白云区







