成都·武侯区
职位详情
核心职责：
负责大规模数据采集系统的设计、开发与维护，确保爬虫稳定性与可扩展性；
应对各类反爬机制（如验证码、IP封禁、动态加密等），设计突破方案；
优化爬虫调度策略，提升数据抓取效率与资源利用率；
参与数据清洗、存储及监控系统的开发，保障数据质量与流程自动化；
协同团队完成数据中间件、API接口的设计与整合。
任职要求（硬性条件）：
基础能力
计算机相关专业本科及以上学历，3年以上Python开发经验；
精通Python编程，熟悉异步IO（asyncio/aiohttp）、多线程/进程、协程等技术；
深入理解HTTP/HTTPS协议、WebSocket及浏览器网络交互机制；
熟练掌握常见爬虫框架（Scrapy、Selenium、Playwright等）及解析库（lxml、BeautifulSoup等）。
项目经验
有大规模分布式爬虫系统开发经验，熟悉代理池、验证码识别、动态渲染等解决方案；
具备反爬策略实战经验，能独立分析并突破主流网站的反爬限制；
熟悉数据库设计（MySQL/PostgreSQL/MongoDB/Redis），了解数据去重与增量抓取机制；
有数据清洗、结构化处理及ETL流程开发经验。
加分项（优先考虑）：
熟悉Windows平台下的爬虫开发，了解其网络栈特性及兼容性处理；
具备C++/QT开发经验，能进行跨平台工具开发或爬虫客户端优化；
有客户端逆向分析经验（如PC/移动端应用数据抓取）；
2026-03-04 16:17
IP属地：四川
职位福利
本科
杭州嘿住科技有限公司
天使轮 · 100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
