厦门
职位详情
不接受线上面试！！
【岗位职责】
1、负责分布式爬虫系统的架构设计、编码实现与日常维护，高效抓取互联网公开数据资源（如网页内容、API接口、开放数据库等）。
2、应对各类反爬技术挑战（如验证码识别、IP封锁、页面动态加载等），保障数据采集的连续性与完整性。
3、持续优化爬虫效率与稳定性，提升数据获取速度，并完成去重、清洗及结构化存储处理。
4、参与后端数据存储架构设计（MySQL/MongoDB/Redis等），为数据分析团队提供可靠的数据支撑。
5、实时监控爬虫系统运行情况，快速定位并解决异常问题，同步完善相关技术文档。
【岗位要求】
1、熟练掌握Python语言，具备Scrapy、Requests、BeautifulSoup、Selenium等主流爬虫工具的实际开发经验。
2、理解HTTP/HTTPS通信机制，精通网页解析方法（XPath/正则表达式/DOM解析等）。
3、熟悉常见反爬破解手段，包括代理IP管理、User-Agent随机切换、请求频率调控等策略。
4、了解常用数据库（如MySQL/Redis）操作，能够完成数据的结构化转换与存储（JSON/XLS格式等）。
5、具备基础Linux系统操作能力及网络抓包调试技能（如使用Wireshark/Charles/Fiddler等工具）。
加分项：
1、有分布式爬虫框架（Scrapy-Redis/Celery）或消息中间件（Kafka/RabbitMQ）应用经验者优先。
2、具备JS逆向分析、安卓逆向或移动端App数据抓取实践（如Mitmproxy/Frida工具使用）。
3、接触过机器学习、自然语言处理技术，可用于数据预处理与智能分析场景。
4、熟悉Elasticsearch/Kibana等工具，具有数据可视化项目经验者更佳。
【岗位职责】
1、负责分布式爬虫系统的架构设计、编码实现与日常维护，高效抓取互联网公开数据资源（如网页内容、API接口、开放数据库等）。
2、应对各类反爬技术挑战（如验证码识别、IP封锁、页面动态加载等），保障数据采集的连续性与完整性。
3、持续优化爬虫效率与稳定性，提升数据获取速度，并完成去重、清洗及结构化存储处理。
4、参与后端数据存储架构设计（MySQL/MongoDB/Redis等），为数据分析团队提供可靠的数据支撑。
5、实时监控爬虫系统运行情况，快速定位并解决异常问题，同步完善相关技术文档。
【岗位要求】
1、熟练掌握Python语言，具备Scrapy、Requests、BeautifulSoup、Selenium等主流爬虫工具的实际开发经验。
2、理解HTTP/HTTPS通信机制，精通网页解析方法（XPath/正则表达式/DOM解析等）。
3、熟悉常见反爬破解手段，包括代理IP管理、User-Agent随机切换、请求频率调控等策略。
4、了解常用数据库（如MySQL/Redis）操作，能够完成数据的结构化转换与存储（JSON/XLS格式等）。
5、具备基础Linux系统操作能力及网络抓包调试技能（如使用Wireshark/Charles/Fiddler等工具）。
加分项：
1、有分布式爬虫框架（Scrapy-Redis/Celery）或消息中间件（Kafka/RabbitMQ）应用经验者优先。
2、具备JS逆向分析、安卓逆向或移动端App数据抓取实践（如Mitmproxy/Frida工具使用）。
3、接触过机器学习、自然语言处理技术，可用于数据预处理与智能分析场景。
4、熟悉Elasticsearch/Kibana等工具，具有数据可视化项目经验者更佳。
2026-05-27 13:40
IP属地：福建厦门
职位福利
学历不限1-3年爬虫经验DockerMySQLPython
厦门易度网络科技有限公司
未融资 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
