搜索
登录注册

职位详情

岗位职责:
1、智能爬虫系统架构设计:主导构建面向海量、多源数据场景的智能化爬虫体系,聚焦AI赋能的数据抓取、流程自动化及非标自动化产品的研发与落地。
2、Playwright与AI融合应用:深度使用Playwright实现浏览器自动化操作,结合大模型、OCR、图像识别等AI技术,完成复杂业务场景下的智能解析、自动登录与任务执行。
3、反爬机制应对策略:深入研究反爬手段,攻克验证码识别、IP封锁、动态内容加载等技术难点,保障爬虫系统的稳定运行与持续可用性。
4、AI驱动的数据处理优化:探索生成式AI(如RAG架构)或大模型在数据抽取、清洗与结构化中的应用,提升数据处理效率与智能化程度。
5、团队技术引领与项目推进:带领技术团队开展爬虫系统开发工作,负责技术路线制定、代码质量把控、性能调优及项目交付,提升团队在Playwright与AI应用方面的实战能力。

学历与经验:
1、计算机科学、人工智能、软件工程等相关专业本科及以上学历。
2、5年以上爬虫或自动化系统开发经历,其中至少2年专注于AI与爬虫/自动化融合的技术实践。

任职要求:
1、熟练掌握Playwright:具备扎实的Playwright开发经验,能灵活运用其跨浏览器测试、移动端模拟、网络请求拦截等功能,支撑复杂爬虫或自动化流程的实现。
2、具备AI技术落地能力:熟悉主流AI开发框架(如LangChain、LlamaIndex),有向量数据库(如Elasticsearch、Chroma)实践经验,或拥有OCR、图像识别、大模型集成项目背景者优先考虑。
编程与协议基础:精通Python(必备)或Java,了解HTTP/HTTPS协议、Web认证机制及常用网络通信协议。
3、系统架构设计能力:具有分布式系统设计经验,熟悉高并发、高性能爬虫系统的开发与调优,掌握消息队列、容器化技术(Docker/Kubernetes)者更佳。

软技能:
具备优秀的逻辑分析与问题解决能力,良好的沟通协作素养,能够独立主导技术方案并推动实施落地。

加分项:
1、具备移动端(APP)逆向经验,熟悉常用Hook工具(如Frida、Xposed)或具备协议解析能力。
2、有RPA(机器人流程自动化)系统开发或集成项目经验。
3、在电商、社交、内容平台等领域参与过大规模数据采集或自动化任务落地实践。
2026-06-19 12:18
IP属地:上海

职位福利

本科5-10年
企业发布信息图
上海能良电子科技有限公司
D轮及以上 · 1000-9999人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

爬虫工程师
1.5-2万元/月
爬虫工程师3-5年本科招聘公众号微信微信生态爬虫
上海 宝山区
爬虫开发工程师(J01575)
1.5-2.5万元/月
爬虫工程师3-5年本科
上海 宝山区
爬虫开发工程师
1.5-2万元/月
爬虫工程师3-5年本科招聘公众号微信微信生态爬虫
上海 宝山区
高级数据采集工程师
2-4万元/月
爬虫工程师5-10年本科
上海 宝山区
高级数据采集工程师
2-4万元/月
爬虫工程师3-5年本科爬虫
上海 宝山区
爬虫项目经理
2.5-3.5万元/月
爬虫工程师5-10年本科团队管理爬虫框架影刀python
上海 宝山区
数据采集实习生
180-200元/天
爬虫工程师经验不限本科python数据采集数据分析和处理爬虫接口开发
上海 静安区
爬虫工程师(海外社媒方向)+非外包项目
1.7-1.9万元/月
爬虫工程师5-10年大专PythonJava数据清洗数据迁移音视频
上海 虹口区
高级数据采集工程师
3-6万元/月
爬虫工程师5-10年本科
上海 浦东新区