静安区
职位详情
工作职责：
1.根据业务需求开展数据采集，从公开网站及API接口中抓取并解析数据，保障数据的完整性和时效性。
2.持续维护与优化现有爬虫系统，包括Scrapy、requests、httpx、Selenium等技术栈的脚本。
3.进行数据库相关操作，使用Python对接MySQL、MongoDB、Redis等常用存储组件，完成建库建表、索引调优及数据清洗任务。
4.开发可复用的CRUD接口（基于FastAPI/Flask/DjangoRESTframework），支撑内部系统的数据调用需求。
5.设计并维护日常运维自动化脚本，如定时备份、批量更新和异常监控告警机制。
6.在Linux服务器上部署、调度爬虫任务（通过crontab/Airflow），执行日志记录与运行报表可视化输出。
7.与算法、产品团队紧密协作，及时响应数据需求调整及线上问题处理。
8.编写规范的技术文档（含接口说明、部署指南、FAQ），参与代码评审，遵守GitFlow流程与PEP8编码规范。
任职资格：
1.本科及以上学历，计算机、软件工程、信息管理等相关专业优先。
2.熟练掌握Python编程，熟悉HTTP/HTTPS协议，具备XPath、正则表达式、BeautifulSoup、PyQuery等常用解析技术能力。
3.掌握MySQL的索引机制、事务处理及SQL性能优化；了解MongoDB、Redis的基本应用；具备RESTful接口开发经验（FastAPI/Flask/Django），能独立完成接口设计与文档撰写。
4.熟悉Linux操作系统常用命令，具备在服务端独立部署和调试程序的能力。
5.具备良好的沟通意识和责任意识，关注数据准确性，能够应对重复性任务及突发故障处置。
6.有大规模数据采集项目经验者优先（如日均百万级数据量）。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s等技术者为加分项；具备NLP、机器学习背景或对数据可视化工具（Grafana/PowerBI）有兴趣者亦受青睐。
你将获得
•来自一线互联网数据团队导师的一对一指导，深度参与大规模数据采集与数据仓库建设全流程。
•高并发、高性能场景下的实战锻炼，积累简历亮点项目经验并提供实习证明。
1.根据业务需求开展数据采集，从公开网站及API接口中抓取并解析数据，保障数据的完整性和时效性。
2.持续维护与优化现有爬虫系统，包括Scrapy、requests、httpx、Selenium等技术栈的脚本。
3.进行数据库相关操作，使用Python对接MySQL、MongoDB、Redis等常用存储组件，完成建库建表、索引调优及数据清洗任务。
4.开发可复用的CRUD接口（基于FastAPI/Flask/DjangoRESTframework），支撑内部系统的数据调用需求。
5.设计并维护日常运维自动化脚本，如定时备份、批量更新和异常监控告警机制。
6.在Linux服务器上部署、调度爬虫任务（通过crontab/Airflow），执行日志记录与运行报表可视化输出。
7.与算法、产品团队紧密协作，及时响应数据需求调整及线上问题处理。
8.编写规范的技术文档（含接口说明、部署指南、FAQ），参与代码评审，遵守GitFlow流程与PEP8编码规范。
任职资格：
1.本科及以上学历，计算机、软件工程、信息管理等相关专业优先。
2.熟练掌握Python编程，熟悉HTTP/HTTPS协议，具备XPath、正则表达式、BeautifulSoup、PyQuery等常用解析技术能力。
3.掌握MySQL的索引机制、事务处理及SQL性能优化；了解MongoDB、Redis的基本应用；具备RESTful接口开发经验（FastAPI/Flask/Django），能独立完成接口设计与文档撰写。
4.熟悉Linux操作系统常用命令，具备在服务端独立部署和调试程序的能力。
5.具备良好的沟通意识和责任意识，关注数据准确性，能够应对重复性任务及突发故障处置。
6.有大规模数据采集项目经验者优先（如日均百万级数据量）。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s等技术者为加分项；具备NLP、机器学习背景或对数据可视化工具（Grafana/PowerBI）有兴趣者亦受青睐。
你将获得
•来自一线互联网数据团队导师的一对一指导，深度参与大规模数据采集与数据仓库建设全流程。
•高并发、高性能场景下的实战锻炼，积累简历亮点项目经验并提供实习证明。
2026-06-26 12:34
IP属地：上海
职位福利
本科经验不限MySQL/Redis数据处理经验爬虫开发经验爬虫工程师Python
彩数(上海)商务咨询有限公司
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
