广州·越秀区
职位详情
岗位职责：
1、负责公司数据采集任务的代码开发，完成多平台信息抓取、数据清洗及存储入库等相关工作；
2、负责爬虫项目的整合、部署与任务调度管理；
3、负责项目中数据抽取、清洗、结构化处理及数据库写入等流程的实施；
4、保障现有爬虫系统的稳定运行，及时进行维护与优化。
任职要求：
1、具备大规模数据采集实践经验者优先考虑；
2、至少熟练掌握mysql、mongodb、redis、clickhouse等数据库中的其中一种；
3、熟悉scrapy-redis或其它分布式爬虫框架，掌握网页数据采集原理与技术，能熟练运用正则、Xpath等数据解析方法；
4、具备较强的逻辑分析与问题解决能力，可独立完成爬虫程序编写及服务部署；
5、精通python语言，熟练应用多线程编程技术；
6、熟悉linux系统常用服务器命令，具备良好的编程规范与代码习惯。
1、负责公司数据采集任务的代码开发，完成多平台信息抓取、数据清洗及存储入库等相关工作；
2、负责爬虫项目的整合、部署与任务调度管理；
3、负责项目中数据抽取、清洗、结构化处理及数据库写入等流程的实施；
4、保障现有爬虫系统的稳定运行，及时进行维护与优化。
任职要求：
1、具备大规模数据采集实践经验者优先考虑；
2、至少熟练掌握mysql、mongodb、redis、clickhouse等数据库中的其中一种；
3、熟悉scrapy-redis或其它分布式爬虫框架，掌握网页数据采集原理与技术，能熟练运用正则、Xpath等数据解析方法；
4、具备较强的逻辑分析与问题解决能力，可独立完成爬虫程序编写及服务部署；
5、精通python语言，熟练应用多线程编程技术；
6、熟悉linux系统常用服务器命令，具备良好的编程规范与代码习惯。
2026-05-12 13:22
IP属地：广东广州
职位福利
本科1-3年ScrapyMongoDBMySQLLinux网络爬虫技术多线程GIT
广州众成大数据科技有限公司
A轮 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
AI开发
1.8-2.4万元/月
Python5-10年本科PyTorchDocker微服务经验DjangoMySQLAIRedisLinux开发/部署经验LLMFlaskKubernetes
广州
杨先生 · 中电金信今日活跃
收藏职位
