静安区
职位详情
工作职责：
1.负责数据抓取，根据业务需要，从公开网页及API接口中采集并解析信息，保障数据的完整性和时效性。
2.持续维护和优化现有的爬虫程序，包括Scrapy/requests/httpx/Selenium等技术栈。
3.进行数据库管理，运用Python对接MySQL、MongoDB、Redis等常用存储系统，完成建库建表、索引调优与数据清洗任务。
4.开发通用的增删改查接口（基于FastAPI/Flask/DjangoRESTframework），支持内部系统的数据调用需求。
5.构建并维护日常运维脚本，实现定时备份、批量处理、异常监控与告警功能。
6.在Linux服务器环境中部署、调度爬虫任务（通过crontab/Airflow），执行日志记录与可视化报表输出。
7.与算法、产品团队紧密配合，及时响应数据需求调整及线上问题处理。
8.编写规范的技术文档（如接口说明、部署指南、FAQ手册），参与代码评审，遵守GitFlow流程与PEP8编码标准。
任职资格：
1.计算机、软件工程、信息管理等相关专业本科及以上学历。
2.精通Python语言，掌握HTTP/HTTPS协议、XPath、正则表达式以及BeautifulSoup、PyQuery等常用解析工具。
3.熟悉MySQL的索引机制、事务处理与SQL性能优化；具备MongoDB、Redis的基本使用经验。
拥有RESTfulAPI开发经历（FastAPI/Flask/Django），可独立完成接口设计与文档撰写。
4.掌握Linux常用操作命令，具备在服务端独立部署与调试应用的能力。
5.具备良好的沟通协作意识，责任心强，关注数据准确性，能适应重复性任务与突发故障应对。
6.有大规模数据采集项目经验者优先，如参与过日均百万级数据抓取与清洗流程。
7.熟悉消息中间件（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s技术者更佳。
具备算法基础（如NLP、机器学习）或对数据展示工具（Grafana/PowerBI）有兴趣者视为加分项。
你将获得
•来自一线互联网数据团队导师的一对一指导，全面掌握高规模数据采集与数仓构建全流程。
实战高并发、高性能场景，积累简历优质项目经验，并提供实习证明。
1.负责数据抓取，根据业务需要，从公开网页及API接口中采集并解析信息，保障数据的完整性和时效性。
2.持续维护和优化现有的爬虫程序，包括Scrapy/requests/httpx/Selenium等技术栈。
3.进行数据库管理，运用Python对接MySQL、MongoDB、Redis等常用存储系统，完成建库建表、索引调优与数据清洗任务。
4.开发通用的增删改查接口（基于FastAPI/Flask/DjangoRESTframework），支持内部系统的数据调用需求。
5.构建并维护日常运维脚本，实现定时备份、批量处理、异常监控与告警功能。
6.在Linux服务器环境中部署、调度爬虫任务（通过crontab/Airflow），执行日志记录与可视化报表输出。
7.与算法、产品团队紧密配合，及时响应数据需求调整及线上问题处理。
8.编写规范的技术文档（如接口说明、部署指南、FAQ手册），参与代码评审，遵守GitFlow流程与PEP8编码标准。
任职资格：
1.计算机、软件工程、信息管理等相关专业本科及以上学历。
2.精通Python语言，掌握HTTP/HTTPS协议、XPath、正则表达式以及BeautifulSoup、PyQuery等常用解析工具。
3.熟悉MySQL的索引机制、事务处理与SQL性能优化；具备MongoDB、Redis的基本使用经验。
拥有RESTfulAPI开发经历（FastAPI/Flask/Django），可独立完成接口设计与文档撰写。
4.掌握Linux常用操作命令，具备在服务端独立部署与调试应用的能力。
5.具备良好的沟通协作意识，责任心强，关注数据准确性，能适应重复性任务与突发故障应对。
6.有大规模数据采集项目经验者优先，如参与过日均百万级数据抓取与清洗流程。
7.熟悉消息中间件（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s技术者更佳。
具备算法基础（如NLP、机器学习）或对数据展示工具（Grafana/PowerBI）有兴趣者视为加分项。
你将获得
•来自一线互联网数据团队导师的一对一指导，全面掌握高规模数据采集与数仓构建全流程。
实战高并发、高性能场景，积累简历优质项目经验，并提供实习证明。
2026-05-20 14:41
IP属地：上海
职位福利
本科经验不限python数据采集数据分析和处理爬虫接口开发
彩数(上海)商务咨询有限公司
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
