闵行区
职位详情
岗位职责：
1.ES集群架构设计与部署
-结合当前服务器设备情况，以较低硬件和开发成本搭建和部署一套ElasticSearch，满足每日6亿数据写入/更新和毫秒级查询需求。
-随着业务的稳定开展，逐步完善ES集群的可扩展性和高可用性，根据业务需要提升支持的每日写入/更新量（可达每日1亿量级）。
-制定分片策略、索引生命周期管理（ILM）方案，优化冷热数据分层存储。
2.ES性能优化与运维
-监控集群健康状态，解决节点负载不均、写入瓶颈、慢查询等问题。
-优化JVM配置、索引合并策略，减少GC停顿时间，提升吞吐量。
3.大数据生态整合
-针对现有大数据系统中出现的性能和稳定性瓶颈，提出性能可预计、成本可控、开发周期短、业务中断风险小的改进方案，并规划和执行数据的平滑迁移。
-协助数据采集工程师，将数据采集模块与新系统对接。
-结合Hadoop/Spark/ES等实现离线/实时的数据交互分析。
任职要求：
技术能力
-精通大数据架构原理，精通MySQL等传统数据库和Hbase、ElasticSearch、TiDB、Kafka、MongoDB等大数据组件的底层原理和性能、一致性、可用性特点；
-精通Lucene底层机制，具备索引压缩、字段类型优化经验；
-精通Linux系统调优（文件句柄、内存分配、网络参数）；
-精通Java语言，熟悉Spring框架，以便理解现有系统代码并协助对接；
-熟练使用Java或其它语言开发自动化运维工具；
-熟练使用Kibana、Logstash、Beats等ELK生态工具；
场景经验
-需实际部署过大数据集群，数据规模至少10TB，最好达到PB级以上，日均写入量1亿条以上，熟悉数据预分区、写入限流策略；
-需有高可用集群的测试、部署和运维经验，并在各类实际硬件故障（服务器、网络、磁盘故障等）中得到验证；
-具备短视频/日志/物联网等时序数据场景经验者加分；
-有ES与向量数据库（Milvus等）结合实现AI检索经验者优先。
软性素质
-对技术瓶颈有敏锐嗅觉，能通过Profile工具快速定位性能问题；
-具备技术文档撰写能力，能制定SOP规范及应急预案；
-良好的沟通能力，能与业务方协作平衡性能与成本。
---
加分项
-Elastic认证工程师（ECE/ECSS）或相关技术博客作者；
-熟悉短视频元数据结构（如分辨率、时长、内容标签）。
1.ES集群架构设计与部署
-结合当前服务器设备情况，以较低硬件和开发成本搭建和部署一套ElasticSearch，满足每日6亿数据写入/更新和毫秒级查询需求。
-随着业务的稳定开展，逐步完善ES集群的可扩展性和高可用性，根据业务需要提升支持的每日写入/更新量（可达每日1亿量级）。
-制定分片策略、索引生命周期管理（ILM）方案，优化冷热数据分层存储。
2.ES性能优化与运维
-监控集群健康状态，解决节点负载不均、写入瓶颈、慢查询等问题。
-优化JVM配置、索引合并策略，减少GC停顿时间，提升吞吐量。
3.大数据生态整合
-针对现有大数据系统中出现的性能和稳定性瓶颈，提出性能可预计、成本可控、开发周期短、业务中断风险小的改进方案，并规划和执行数据的平滑迁移。
-协助数据采集工程师，将数据采集模块与新系统对接。
-结合Hadoop/Spark/ES等实现离线/实时的数据交互分析。
任职要求：
技术能力
-精通大数据架构原理，精通MySQL等传统数据库和Hbase、ElasticSearch、TiDB、Kafka、MongoDB等大数据组件的底层原理和性能、一致性、可用性特点；
-精通Lucene底层机制，具备索引压缩、字段类型优化经验；
-精通Linux系统调优（文件句柄、内存分配、网络参数）；
-精通Java语言，熟悉Spring框架，以便理解现有系统代码并协助对接；
-熟练使用Java或其它语言开发自动化运维工具；
-熟练使用Kibana、Logstash、Beats等ELK生态工具；
场景经验
-需实际部署过大数据集群，数据规模至少10TB，最好达到PB级以上，日均写入量1亿条以上，熟悉数据预分区、写入限流策略；
-需有高可用集群的测试、部署和运维经验，并在各类实际硬件故障（服务器、网络、磁盘故障等）中得到验证；
-具备短视频/日志/物联网等时序数据场景经验者加分；
-有ES与向量数据库（Milvus等）结合实现AI检索经验者优先。
软性素质
-对技术瓶颈有敏锐嗅觉，能通过Profile工具快速定位性能问题；
-具备技术文档撰写能力，能制定SOP规范及应急预案；
-良好的沟通能力，能与业务方协作平衡性能与成本。
---
加分项
-Elastic认证工程师（ECE/ECSS）或相关技术博客作者；
-熟悉短视频元数据结构（如分辨率、时长、内容标签）。
2026-06-29 12:58
IP属地：上海
职位福利
学历不限3-5年Java要求数据开发经验Elasticsearch原理/源码大数据引擎开发经验数据建模经验MySQL/SQL ServerKafka非外包类计算机相关专业数据平台开发经验HBase
上海冠勇信息科技有限公司
B轮 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为，请立即向鱼泡直聘投诉举报投诉举报 >
附近适合您的职位
数据开发
2-4万元/月
数据开发3-5年本科要求数据开发经验Presto原理/源码Spark原理/源码大数据引擎开发经验BI报表开发经验非外包类数据治理经验PythonSQL
上海 闵行区
大数据开发
2-3万元/月
兼职数据开发Hadoop3-5年本科非外包类要求数据开发经验ETL开发经验实时数仓开发经验数据建模经验计算机相关专业数据平台开发经验数据仓库开发经验大数据引擎开发经验JavaPythonScalaSparkHiveFlinkKafkaFlumeSpark原理/源码Flink原理/源码Hive原理/源码HBase原理/源码Kafka原理/源码MySQL原理/源码PostgreSQL原理/源码
上海 浦东新区 唐镇
刘女士 · 上海战翱科技有限公司刚刚活跃
收藏职位
