成都·双流区
职位详情
核心职责： 负责大规模数据采集系统的设计、开发与维护，确保爬虫稳定性与可扩展性； 应对各类反爬机制（如验证码、IP封禁、动态加密等），设计突破方案； 优化爬虫调度策略，提升数据抓取效率与资源利用率； 参与数据清洗、存储及监控系统的开发，保障数据质量与流程自动化； 协同团队完成数据中间件、API接口的设计与整合。 任职要求（硬性条件）： 基础能力 计算机相关专业本科及以上学历，3年以上Python开发经验； 精通Python编程，熟悉异步IO（asyncio/aiohttp）、多线程/进程、协程等技术； 深入理解HTTP/HTTPS协议、WebSocket及浏览器网络交互机制； 熟练掌握常见爬虫框架（Scrapy、Selenium、Playwright等）及解析库（lxml、BeautifulSoup等）。 项目经验 有大规模分布式爬虫系统开发经验，熟悉代理池、验证码识别、动态渲染等解决方案； 具备反爬策略实战经验，能独立分析并突破主流网站的反爬限制； 熟悉数据库设计（MySQL/PostgreSQL/MongoDB/Redis），了解数据去重与增量抓取机制； 有数据清洗、结构化处理及ETL流程开发经验。 加分项（优先考虑）： 熟悉Windows平台下的爬虫开发，了解其网络栈特性及兼容性处理； 具备C++/QT开发经验，能进行跨平台工具开发或爬虫客户端优化； 有客户端逆向分析经验（如PC/移动端应用数据抓取）；
2026-05-17 13:28
IP属地：四川
职位福利
本科
四川晨奇人力资源服务有限公司
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
