搜索
登录注册

职位详情

公司介绍:
我们是谁:ShoppeDance是TikTokShop生态Top的SaaS公司,创始团队来自TikTok和阿里高管,母公司在美国,获美国顶级资本投资。我们自有客户包括LadyGaga的品牌,华纳音乐,等国际知名品牌,也有国内OQQ,Anker等出海知名品牌。

我们的使命:
ShoppeDance——做更好的工具,让生意更简单
Buildbettertools,simplifycommerce

我们的愿景:
做一家让客户持续选择的公司
Tobethecompanycustomerskeepchoosing

我们的价值观:
在乎客户,保持耐心,追求卓越
Care,Patience,Excellence
只要能坚持做到在乎客户,保持耐心,追求卓越,我们就一定能做更好的工具,我们才能让客户做生意更简单,我们最终才有可能做成一家让客户持续选择的公司

岗位描述
-职位名称:Java大数据开发工程师
-工作地点:杭州
-汇报对象:CTO

核心职责
1.大数据平台开发
-基于Hadoop/Spark/Flink技术栈搭建高吞吐数据处理架构,深入调优JVM(GC策略、内存分配)及分布式计算性能。
-开发批处理与流式计算任务,采用Java/Scala实现高效数据逻辑(如SparkSQL、FlinkDataStreamAPI)。

2.分布式存储与计算
-设计并优化HDFS、HBase、Kafka、Redis等组件的存储结构,解决数据倾斜、Shuffle效率低下等问题。
-运用Java多线程、NIO、Netty技术提升I/O性能(如实现自定义Spark数据源、高吞吐Kafka消费者)。

3.实时数据流处理
-搭建基于Kafka与Flink/SparkStreaming的实时处理链路,支持实时风控、日志分析、用户标签等场景。
-调优FlinkCheckpoint机制、Kafka消费者组配置,确保端到端精确一次处理语义。

4.数据服务与API开发
-基于SpringBoot结合大数据引擎(如SparkonK8s)构建数据服务模块,对外提供REST/gRPC接口。
-集成Prometheus与Grafana监控JVM状态、任务运行指标,实现自动预警与性能调优。

5.数据治理与优化
-规划数据分层模型(ODS/DWD/DWS),优化Parquet/ORC文件格式,提升查询响应速度。
-建立数据质量校验机制(如使用GreatExpectations),保障数据准确性和一致性。

任职要求
-Java技术栈
-5年以上Java开发经验,熟练掌握JVM调优(GC日志解读、堆外内存管理)、并发编程(JUC、ForkJoinPool)。
-精通SpringBoot、Maven/Gradle,具备高并发系统开发背景(如支撑QPS10W+场景)。

-大数据技术
-3年以上大数据开发经验,精通Spark(Java/Scala接口)、Flink、Kafka,了解YARN/K8s资源调度机制。
-熟悉Hadoop生态体系(HDFS/Hive/HBase),具备MapReduce/SparkSQL性能调优能力。

-数据库与存储
-熟练操作MySQL、Redis、Elasticsearch,理解LSM树、B+树、倒排索引等底层存储原理。
-具备列式存储(Parquet/ORC)调优实践,熟悉DeltaLake或Iceberg者优先考虑。

加分项
-有大规模数据采集或爬虫系统经验(日均千万级数据量)者优先
-掌握FlinkCDC、KafkaConnect组件,具备实时数仓建设经验者优先

我们提供
薪资+绩效奖金+期权激励
2026-07-04 14:48
IP属地:浙江杭州

职位福利

本科5-10年Java要求数据开发经验数据建模经验Kafka实时数仓开发经验非外包类计算机相关专业数据平台开发经验Flink数据治理经验HiveElasticsearchPython
企业发布信息图
杭州零壹起舞网络技术有限公司
天使轮 · 20-99人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

阿里云-Flink执行引擎开发-北京/上
2.8-5.5万元/月
数据开发3-5年本科HBase原理/源码Java要求数据开发经验Kafka原理/源码Spark原理/源码大数据引擎开发经验Flink原理/源码非外包类计算机相关专业
杭州 西湖区
高级大数据开发工程师
2.5-3.5万元/月
数据开发5-10年本科
杭州 西湖区
大数据研发工程师
2.5-5万元/月
数据开发3-5年本科SQLHiveSpark计算机相关专业大数据开发经验数仓建设经验
杭州 西湖区
分布式研发工程师-任务分配
5-8万元/月
数据开发5-10年硕士Java要求数据开发经验大数据引擎开发经验MySQL/SQL ServerGo实时数仓开发经验非外包类其他FlinkHBase数据库内核开发经验C/C++Spark数据仓库开
杭州 西湖区
高级大数据开发工程师
3-6万元/月
数据开发3-5年本科大数据开发经验要求数据开发经验ETL开发经验非外包类计算机相关专业数据仓库开发经验FlinkSQLPython
杭州 西湖区
高级大数据开发工程师
2.5-5万元/月
数据开发3-5年本科Hive要求数据开发经验ETL开发经验非外包类数据仓库开发经验金融行业经验SQL
杭州 西湖区
大数据开发工程师(跨境电商方向)
1.5-2.5万元/月
数据开发5-10年本科JavaHive要求数据开发经验ETL开发经验BI报表开发经验非外包类实时数仓开发经验Spark数据平台开发经验数据仓库开发经验
杭州 西湖区
云数据库平台开发工程师
2-4万元/月
数据开发经验不限硕士接受无数据开发经验云原生kubernetsRAG
杭州 西湖区
数据研发工程师/高级工程师
2.5-4万元/月
数据开发5-10年本科要求数据开发经验非外包类数据仓库开发经验
杭州 西湖区