静安区
职位详情
工作职责：
1.数据采集，按业务需求，对公开网站、API进行抓取与解析，确保数据完整性与及时性。
2.维护并优化现有Scrapy/requests/httpx/Selenium等爬虫脚本。
3.数据库操作，使用Python操作MySQL、MongoDB、Redis等常用存储，完成建库、建表、索引优化及数据清洗。
4.编写可复用的CRUD接口（FastAPI/Flask/DjangoRESTframework），供内部系统调用。
5.设计并维护日常运维脚本（定时备份、批量更新、异常告警）。
6.代码执行与维护，在Linux服务器上部署、调度（crontab/Airflow）并监控爬虫任务，输出运行日志与可视化报表。
7.与算法、产品同事协作，快速响应数据需求变更及线上故障。
8.撰写技术文档（接口说明、部署手册、常见问题FAQ），参与CodeReview，遵循GitFlow和PEP8规范。
任职资格：
1.本科及以上，计算机、软件工程、信息管理等相关专业。
2.熟练使用Python，理解HTTP/HTTPS、XPath、正则、BeautifulSoup、PyQuery等常用库。
3.熟悉MySQL索引、事务及SQL调优；了解MongoDB、Redis基础使用。具备RESTful接口开发经验（FastAPI/Flask/Django），能独立完成接口设计、文档输出。
4.了解Linux常用命令，能在服务器上独立部署与调试。
5.良好的沟通能力、责任心强，对数据质量敏感，能接受重复性工作与突发问题处理。
6.加分项，参与过日均百万级数据采集与清洗项目。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s。有算法背景（NLP、机器学习）或对数据可视化（Grafana/PowerBI）感兴趣。
你将获得•一线互联网数据团队mentor1v1指导，深入理解大规模数据采集与数据仓库流程。高并发、高性能场景实践，简历亮点项目+实习证明。
1.数据采集，按业务需求，对公开网站、API进行抓取与解析，确保数据完整性与及时性。
2.维护并优化现有Scrapy/requests/httpx/Selenium等爬虫脚本。
3.数据库操作，使用Python操作MySQL、MongoDB、Redis等常用存储，完成建库、建表、索引优化及数据清洗。
4.编写可复用的CRUD接口（FastAPI/Flask/DjangoRESTframework），供内部系统调用。
5.设计并维护日常运维脚本（定时备份、批量更新、异常告警）。
6.代码执行与维护，在Linux服务器上部署、调度（crontab/Airflow）并监控爬虫任务，输出运行日志与可视化报表。
7.与算法、产品同事协作，快速响应数据需求变更及线上故障。
8.撰写技术文档（接口说明、部署手册、常见问题FAQ），参与CodeReview，遵循GitFlow和PEP8规范。
任职资格：
1.本科及以上，计算机、软件工程、信息管理等相关专业。
2.熟练使用Python，理解HTTP/HTTPS、XPath、正则、BeautifulSoup、PyQuery等常用库。
3.熟悉MySQL索引、事务及SQL调优；了解MongoDB、Redis基础使用。具备RESTful接口开发经验（FastAPI/Flask/Django），能独立完成接口设计、文档输出。
4.了解Linux常用命令，能在服务器上独立部署与调试。
5.良好的沟通能力、责任心强，对数据质量敏感，能接受重复性工作与突发问题处理。
6.加分项，参与过日均百万级数据采集与清洗项目。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s。有算法背景（NLP、机器学习）或对数据可视化（Grafana/PowerBI）感兴趣。
你将获得•一线互联网数据团队mentor1v1指导，深入理解大规模数据采集与数据仓库流程。高并发、高性能场景实践，简历亮点项目+实习证明。
2026-06-18 12:05
IP属地：上海
职位福利
本科经验不限python数据采集数据分析和处理爬虫接口开发
彩数(上海)商务咨询有限公司
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
