杭州·余杭区
职位详情
岗位职责要求
1. 设计并搭建大规模数据采集架构，开发和维护分布式爬虫系统，确保对指定网站或数据源实现高效、稳定的抓取；
2. 基于对象存储（如TOS、OSS、S3）建设数据湖，规划合理的数据分层与存储策略，保障数据安全及访问性能；
3. 参与数据平台核心模块的编码与优化，主导数据清洗、预处理及ETL流程的设计与落地实施；
4. 构建数据平台的操作日志记录机制与监控体系，提升数据链路的可追踪性与可观测能力。
岗位任职要求
1. 计算机科学、软件工程或相关专业本科及以上学历；
2. 具备良好的编程基础，熟练使用Python/Java/Scala中至少一门语言，掌握主流爬虫框架（如Scrapy）及应对反爬的技术手段；
3. 熟悉对象存储（TOS/OSS/S3）的应用与性能调优，具备基于此类存储构建数据处理系统的实际经验；
4. 理解日志系统（如ELK、Loki）的架构原理，有独立部署和运维经验者优先考虑；
5. 掌握Hadoop/Hive/Spark等大数据技术栈者优先录用。
1. 设计并搭建大规模数据采集架构，开发和维护分布式爬虫系统，确保对指定网站或数据源实现高效、稳定的抓取；
2. 基于对象存储（如TOS、OSS、S3）建设数据湖，规划合理的数据分层与存储策略，保障数据安全及访问性能；
3. 参与数据平台核心模块的编码与优化，主导数据清洗、预处理及ETL流程的设计与落地实施；
4. 构建数据平台的操作日志记录机制与监控体系，提升数据链路的可追踪性与可观测能力。
岗位任职要求
1. 计算机科学、软件工程或相关专业本科及以上学历；
2. 具备良好的编程基础，熟练使用Python/Java/Scala中至少一门语言，掌握主流爬虫框架（如Scrapy）及应对反爬的技术手段；
3. 熟悉对象存储（TOS/OSS/S3）的应用与性能调优，具备基于此类存储构建数据处理系统的实际经验；
4. 理解日志系统（如ELK、Loki）的架构原理，有独立部署和运维经验者优先考虑；
5. 掌握Hadoop/Hive/Spark等大数据技术栈者优先录用。
2026-05-17 12:53
IP属地：浙江杭州
职位福利
硕士3-5年数据建模数据库开发数据中台开发SqlGoLang
杭州金瑶科技有限公司
天使轮 · 100-499人
工作地址
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
数据研发工程师（本科及以上学历）
1-1.5万元/月
数据开发1-3年本科Hive要求数据开发经验Kafka电商/零售行业经验Spark数据仓库开发经验Flink数据治理经验SQL
杭州 余杭区
王女士 · 联想利泰5日内活跃
大数据开发工程师
1.1-2.2万元/月
数据开发1-3年本科Java要求数据开发经验Kafka电商/零售行业经验非外包类计算机相关专业数据平台开发经验数据治理经验Python数学/统计相关专业
杭州 余杭区
李先生 · 如泽5日内活跃
数据开发专家
4-5万元/月
数据开发10年以上本科要求数据开发经验BI报表开发经验非外包类Spark计算机相关专业数据平台开发经验Flink数据治理经验数学/统计相关专业PythonSQL
杭州 余杭区
林女士 · 观妙科技5日内活跃
数据研发工程师
1.5-1.6万元/月
数据开发1-3年本科要求数据开发经验ETL开发经验数据治理BI报表开发经验实时数仓开发经验其他数据仓库开发经验数据治理经验SQL
杭州 余杭区
王女士 · 联想利泰5日内活跃
收藏职位
