爬虫工程师

9000-14000元/月

厦门·湖里区

刘女士

已实名

企业认证

厦门吉信德集团有限公司

职位详情

爬虫工程师

**一、工作职责**
1.分布式爬虫开发
负责构建和维护分布式网络爬虫架构，覆盖任务分发、网页抓取、数据存储等环节，高效采集互联网公开信息并进行初步分析处理。

2.大规模数据处理
完成海量文本与图像数据的获取、提取、去重、分类、垃圾信息过滤、质量评估及结构化解析入库等相关工作。

3.爬虫优化与维护
持续改进爬虫系统的架构设计、功能实现与运行性能，提升数据采集效率与准确性，保障系统长期稳定运行。

4.核心算法研究
深入探索网页内容抽取等关键技术，优化信息提取策略，增强数据获取的精准度与执行效率。

5.项目开发与规划
参与企业运营平台的技术开发，协助推进项目的整体架构设计，制定合理的迭代开发计划。

6.问题解决与沟通
及时响应开发过程中的技术难题与缺陷修复，协调各方资源推动问题闭环解决。

**二、岗位要求**
-专业背景：计算机类相关专业，具备至少1年软件开发经验。
-爬虫技术：熟练掌握JS逆向分析，理解反爬机制，能够应对动态渲染页面、登录鉴权等复杂场景。
-多线程与网络编程：熟悉多线程、多进程编程模型，了解TLS、TCP/IP等网络协议原理。
-具备应对账号封禁、IP封锁、验证码识别、图像解析及风控策略的能力，有实际解封经验者优先。
-抓包工具：精通Charles、Wireshark、Fiddler等抓包工具，拥有扎实的JS逆向能力，掌握反混淆、JS追踪、WASM还原、JSVMP分析等技术。
-后端开发：具有后端开发实践，熟悉主流框架及开发模式（如Django、Flask、Fastapi等）。
-熟练使用Git进行版本管理，掌握分支操作、代码合并与冲突处理流程。
-数据处理技能：精通HTML解析、正则表达式、XPath、BeautifulSoup，能熟练运用pandas进行数据清洗与预处理。
-开发经验优先：掌握软件逆向中的静态分析、动态调试与代码跟踪技术，有国内外电商平台或专利数据采集经验者优先。
-自动化工具掌握：熟悉Playwright、Selenium、DrissionPage等浏览器自动化工具者优先考虑。
-数据库知识：熟练使用MySQL、PostgreSQL，对Redis有一定了解者更佳。
-综合能力：思维条理清晰，具备良好的数据分析与问题排查能力，工作主动性强。
-学习与沟通：具备强烈的学习动力，能快速掌握新技术，可阅读英文技术文档。
-代码规范：遵守编码规范，书写整洁、可维护性强的代码。

2026-06-24 14:28

IP属地：福建厦门

职位福利

本科3-5年数据抓包并发反爬fiddler逆向js传输协议