厦门·思明区
职位详情
不接受线上面试！！
【岗位职责】
1、参与分布式爬虫系统的搭建与迭代，高效获取互联网公开数据资源（如网页内容、API接口、开放数据库等）。
2、应对各类反爬技术挑战（如验证码识别、IP限制、页面动态加载等），保障数据采集的连续性与完整性。
3、持续优化爬虫架构，提升抓取速度与准确性，完成数据去重、清洗及结构化入库流程。
4、协助设计数据存储方案（MySQL/MongoDB/Redis等），为数据分析团队提供可靠数据支撑。
5、实时监控系统运行情况，快速定位并解决异常问题，同步完善相关技术文档。
【岗位要求】
1、熟练掌握Python语言，具备Scrapy、Requests、BeautifulSoup、Selenium等主流爬虫工具的实际开发经验。
2、理解HTTP/HTTPS通信机制，精通网页解析方法（XPath/正则表达式/DOM解析等）。
3、具备反爬破解能力，熟悉代理IP管理、User-Agent切换、请求频率调控等常用策略。
4、了解常用数据库（如MySQL/Redis）操作，能够实现数据的结构化处理与存储（JSON/XLS等格式）。
5、拥有基础Linux使用经验及网络抓包调试技能（Wireshark/Charles/Fiddler等工具）。
加分项：
1、接触过分布式爬虫架构（Scrapy-Redis/Celery）或消息中间件（Kafka/RabbitMQ）。
2、具备JS逆向分析、安卓应用逆向或移动端抓包经验（Mitmproxy/Frida等工具）。
3、对机器学习、自然语言处理技术有一定了解，可用于数据预处理与智能分析。
4、熟悉Elasticsearch/Kibana等数据可视化技术者优先。
【岗位职责】
1、参与分布式爬虫系统的搭建与迭代，高效获取互联网公开数据资源（如网页内容、API接口、开放数据库等）。
2、应对各类反爬技术挑战（如验证码识别、IP限制、页面动态加载等），保障数据采集的连续性与完整性。
3、持续优化爬虫架构，提升抓取速度与准确性，完成数据去重、清洗及结构化入库流程。
4、协助设计数据存储方案（MySQL/MongoDB/Redis等），为数据分析团队提供可靠数据支撑。
5、实时监控系统运行情况，快速定位并解决异常问题，同步完善相关技术文档。
【岗位要求】
1、熟练掌握Python语言，具备Scrapy、Requests、BeautifulSoup、Selenium等主流爬虫工具的实际开发经验。
2、理解HTTP/HTTPS通信机制，精通网页解析方法（XPath/正则表达式/DOM解析等）。
3、具备反爬破解能力，熟悉代理IP管理、User-Agent切换、请求频率调控等常用策略。
4、了解常用数据库（如MySQL/Redis）操作，能够实现数据的结构化处理与存储（JSON/XLS等格式）。
5、拥有基础Linux使用经验及网络抓包调试技能（Wireshark/Charles/Fiddler等工具）。
加分项：
1、接触过分布式爬虫架构（Scrapy-Redis/Celery）或消息中间件（Kafka/RabbitMQ）。
2、具备JS逆向分析、安卓应用逆向或移动端抓包经验（Mitmproxy/Frida等工具）。
3、对机器学习、自然语言处理技术有一定了解，可用于数据预处理与智能分析。
4、熟悉Elasticsearch/Kibana等数据可视化技术者优先。
2026-09-27 12:51
IP属地：福建厦门
职位福利
学历不限1-3年爬虫经验DockerMySQLPython
厦门易度网络科技有限公司
未融资 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
