搜索
登录注册

职位详情

工作职责:
1、负责大数据处理系统的架构设计、开发与性能调优,保障系统运行的稳定性与高效率。
2、运用DataX、Apache Kafka、Flume等工具完成实时或离线数据采集任务,确保数据传输的安全性与高效性。
3、基于Doris、Hive、Spark等大数据计算框架开展数据加工与分析工作,持续提升数据处理效能。
4、参与数据仓库的底层架构规划及数据模型的设计与实现,支撑各类业务分析需求,保障数据资产的高效组织与应用。
5、承担大数据平台核心组件的开发与维护工作,涵盖Hadoop生态中的各项关键技术模块。
6、熟练使用Linux操作系统命令,编写shell脚本及自动化运维工具,优化日常开发与运维流程,提升工作效率。
7、负责MySQL数据库的结构设计、性能优化与日常维护,保证数据存储的可靠性与访问效率。
8、负责Zookeeper集群的部署、监控与故障处理,保障分布式环境下协调服务的高可用性。

职位要求:
1、计算机相关专业本科及以上学历,具备3年以上大数据开发工作经验。
2、深入理解Hadoop核心技术(HDFS、Yarn、MapReduce)的工作机制与调优策略。
3、精通SQL与NoSQL数据库技术,熟悉MySQL、MongoDB、Elasticsearch、Kafka、Redis等系统的使用与优化。
4、掌握DolphinScheduler的技术架构,能够独立完成其日常运维与定制化开发任务。
5、熟练使用Java、Python中至少一种编程语言,具有大规模分布式系统的设计与开发实践经验。
6、具备真实场景下的大数据去重处理和数据挖掘项目经验。
7、拥有实际的大数据项目开发经历,具备良好的跨团队沟通与协作能力。
8、了解数据安全、隐私保护及相关合规要求,并具备实际落地实施经验。
9、熟悉容器化技术(如Docker、Kubernetes)与DevOps流程,能推动数据处理任务的CI/CD优化。
10、熟练掌握MySQL数据库技术,包括数据库建模、SQL性能调优、索引优化、主从同步、分库分表等实践技能。
11、熟悉Zookeeper作为分布式协调服务的应用原理,具备集群管理与问题排查能力。
12、有Doris数据库的实际使用经验,了解其OLAP能力及常见性能调优手段。

加分项:
具备Doris与DolphinScheduler的深度使用经验,参与过大数据模型的设计优化及相关运维支持工作。
2026-05-18 12:14
IP属地:北京

职位福利

本科3-5年JavaHive要求数据开发经验ElasticsearchDoris/DruidKafka非外包类计算机相关专业Spark数据仓库开发经验SQLPython
企业发布信息图
北京盈科千信科技有限公司
不需要融资 · 100-499人
鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >
下载鱼泡直聘APP

附近适合您的职位

大数据治理工程师
1-1.3万元/月
数据开发1-3年本科Hive要求数据开发经验电商/零售行业经验HDFSSpark数据平台开发经验FlinkPythonSQL
北京 海淀区
数据开发
1.3-1.5万元/月
数据开发5-10年大专Java要求数据开发经验ETL开发经验数据平台开发经验数据治理经验FlinkPython
北京 海淀区
实时数据开发工程师(A93435)
2.4-3.5万元/月
数据开发3-5年本科Java要求数据开发经验数据建模经验Kafka实时数仓开发经验非外包类计算机相关专业FlinkHBaseHiveClickhouse数据仓库开发经验Python
北京 海淀区
数据开发工程师
1-1.4万元/月
数据开发3-5年本科Shell要求数据开发经验PostgreSQL金融工作经验MySQL/SQL ServerBI报表开发经验计算机相关专业数据仓库开发经验Oracle金融行业经验SQL
北京 海淀区
大数据应用开发工程师
1.5-2.5万元/月
数据开发5-10年本科Java要求数据开发经验其他数据开发经验非外包类其他
北京 海淀区
数据开发工程师
1.5-1.8万元/月
数据开发3-5年本科物流/供应链项目数据库内核开发经验JavaPL/SQL要求数据开发经验AI项目经验项目管理经验Oracle原理/源码计算机相关专业SQLPython
北京 海淀区
sql开发
1.4-1.7万元/月
数据开发3-5年本科PL/SQL要求数据开发经验计算机相关专业数据平台开发经验OracleSQL
北京 海淀区
数据处理工程师
1.5-2.5万元/月
数据开发3-5年本科要求数据开发经验ETL开发经验非外包类其他计算机相关专业数据平台开发经验Python
北京 海淀区
数据工程师(海外金融业务)(A1818)
2-3.5万元/月
数据开发3-5年本科要求数据开发经验Spark原理/源码ETL开发经验大数据引擎开发经验Flink原理/源码Kafka实时数仓开发经验非外包类数据平台开发经验Flink数据治理经验HBaseSQL
北京 海淀区
大数据开发工程师(长期岗位)
1.2-1.5万元/月
数据开发3-5年大专JavaHive要求数据开发经验ETL开发经验KafkaSpark数据平台开发经验数据仓库开发经验
北京 海淀区