静安区
职位详情
工作职责：
1.根据业务需求开展数据采集，从公开网页及API接口中高效抓取并解析信息，保障数据的完整性和时效性。
2.持续维护与优化基于Scrapy/requests/httpx/Selenium的爬虫程序，提升稳定性与执行效率。
3.执行数据库相关操作，使用Python对MySQL、MongoDB、Redis等常用数据库进行建库建表、索引调优及数据清洗处理。
4.开发通用性强的CRUD接口（采用FastAPI/Flask/DjangoRESTframework），支持内部系统调用与集成。
5.构建并管理日常运维脚本，实现定时备份、批量数据更新和异常自动告警等功能。
6.在Linux环境下完成代码部署与任务调度（通过crontab/Airflow），监控爬虫运行状态，输出日志记录与可视化报告。
7.与算法、产品团队紧密配合，及时响应数据需求调整及线上问题排查。
8.编写完整的技术文档，包括接口说明、部署指南和常见问题解答（FAQ）。
•参与代码评审，严格遵循GitFlow工作流及PEP8编码规范。
任职资格：
1.计算机、软件工程、信息管理等相关专业，本科及以上学历。
2.精通Python编程，掌握HTTP/HTTPS协议，熟练运用XPath、正则表达式、BeautifulSoup、PyQuery等解析技术。
3.熟悉MySQL的索引机制、事务处理及SQL性能优化；了解MongoDB和Redis的基本应用。
具备RESTful接口开发经验（FastAPI/Flask/Django），可独立完成接口设计与文档撰写。
4.掌握Linux常用命令，具备在服务器环境中独立部署和调试服务的能力。
5.具备良好的沟通协作能力，责任心强，注重数据准确性，能适应重复性任务及突发故障处理。
6.有参与日均百万级数据采集与清洗项目者优先考虑。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s技术者更佳。
具有算法基础（如NLP、机器学习）或对数据可视化工具（Grafana/PowerBI）有兴趣者优先。
你将获得
•来自一线互联网数据团队导师的1v1指导，深入掌握大规模数据采集与数据仓库构建全流程。
高并发、高性能场景实战经验，积累简历亮点项目并提供实习证明。
1.根据业务需求开展数据采集，从公开网页及API接口中高效抓取并解析信息，保障数据的完整性和时效性。
2.持续维护与优化基于Scrapy/requests/httpx/Selenium的爬虫程序，提升稳定性与执行效率。
3.执行数据库相关操作，使用Python对MySQL、MongoDB、Redis等常用数据库进行建库建表、索引调优及数据清洗处理。
4.开发通用性强的CRUD接口（采用FastAPI/Flask/DjangoRESTframework），支持内部系统调用与集成。
5.构建并管理日常运维脚本，实现定时备份、批量数据更新和异常自动告警等功能。
6.在Linux环境下完成代码部署与任务调度（通过crontab/Airflow），监控爬虫运行状态，输出日志记录与可视化报告。
7.与算法、产品团队紧密配合，及时响应数据需求调整及线上问题排查。
8.编写完整的技术文档，包括接口说明、部署指南和常见问题解答（FAQ）。
•参与代码评审，严格遵循GitFlow工作流及PEP8编码规范。
任职资格：
1.计算机、软件工程、信息管理等相关专业，本科及以上学历。
2.精通Python编程，掌握HTTP/HTTPS协议，熟练运用XPath、正则表达式、BeautifulSoup、PyQuery等解析技术。
3.熟悉MySQL的索引机制、事务处理及SQL性能优化；了解MongoDB和Redis的基本应用。
具备RESTful接口开发经验（FastAPI/Flask/Django），可独立完成接口设计与文档撰写。
4.掌握Linux常用命令，具备在服务器环境中独立部署和调试服务的能力。
5.具备良好的沟通协作能力，责任心强，注重数据准确性，能适应重复性任务及突发故障处理。
6.有参与日均百万级数据采集与清洗项目者优先考虑。
7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s技术者更佳。
具有算法基础（如NLP、机器学习）或对数据可视化工具（Grafana/PowerBI）有兴趣者优先。
你将获得
•来自一线互联网数据团队导师的1v1指导，深入掌握大规模数据采集与数据仓库构建全流程。
高并发、高性能场景实战经验，积累简历亮点项目并提供实习证明。
2026-06-28 14:56
IP属地：上海
职位福利
本科经验不限Scrapy爬虫经验MySQL接受无前端经验/技能PythonFlask
彩数(上海)商务咨询有限公司
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
收藏职位
