职位详情
职位描述:
我们正在招聘一名资深大数据工程师,负责开源大数据应用的部署、运维及性能优化,具备高效处理大规模数据的能力。您将参与大数据平台建设、数据管道开发与数据分析工作,保障数据系统稳定、可扩展并具备高性能。同时,需具备扎实的Python编程基础,能够开发高效的数据处理脚本与自动化工具。
主要职责:
1. 大数据平台部署与维护
负责Hadoop、Spark、Flink、Kafka等开源框架的安装配置与性能调优。
监控集群运行情况,确保服务高可用与资源最优利用。
快速定位并解决平台运行中的故障与性能问题。
2. 数据处理与开发
设计并实现高效的数据ETL流程,支持结构化与非结构化数据处理。
编写和优化数据清洗、转换与加载脚本,保障数据准确性与完整性。
搭建实时与离线数据处理链路,满足业务侧分析需求。
3. 数据存储与管理
熟悉HDFS、HBase、Cassandra等分布式存储系统,优化数据存放策略。
维护Hive、ClickHouse等数据仓库,提升查询效率与分析能力。
4. Python开发
使用Python开发数据处理程序、自动化运维工具及分析模块。
掌握PySpark、Pandas、Dask等常用大数据处理库。
协同团队构建数据接口或服务,支撑业务系统数据调用。
5. 协作与优化
与数据科学家、分析师及业务部门紧密配合,提供可靠数据支持。
持续改进数据流程,提高系统性能与资源使用率。
任职要求:
1. 教育背景
计算机科学、数据科学、软件工程或相关专业本科及以上学历。
2. 技术能力
熟悉Hadoop、Spark、Flink、Kafka等技术栈的部署与调优,理解分布式计算机制,具备实际集群管理经验。
精通SQL,掌握Hive、ClickHouse等数仓工具,有ETL开发经历,了解数据清洗与转换逻辑。
熟练使用Python,熟悉PySpark、Pandas等数据处理生态,熟练在Linux环境下开发,能编写Shell脚本实现自动化操作。
加分项:
具备AWS、Azure、阿里云等云平台大数据服务使用经验。
了解Docker、Kubernetes在大数据环境中的落地实践。
有机器学习或数据挖掘项目经历者优先考虑。
经验要求:
1. 3年以上大数据开发或运维相关工作经验。
2. 具备真实的大数据平台搭建与调优实战经验。
软技能:
1. 具备较强的系统问题排查与解决能力,可独立完成故障分析。
2. 拥有良好的团队合作意识,能够与多职能团队顺畅沟通。
3. 关注技术发展趋势,学习能力强,主动性强。
我们正在招聘一名资深大数据工程师,负责开源大数据应用的部署、运维及性能优化,具备高效处理大规模数据的能力。您将参与大数据平台建设、数据管道开发与数据分析工作,保障数据系统稳定、可扩展并具备高性能。同时,需具备扎实的Python编程基础,能够开发高效的数据处理脚本与自动化工具。
主要职责:
1. 大数据平台部署与维护
负责Hadoop、Spark、Flink、Kafka等开源框架的安装配置与性能调优。
监控集群运行情况,确保服务高可用与资源最优利用。
快速定位并解决平台运行中的故障与性能问题。
2. 数据处理与开发
设计并实现高效的数据ETL流程,支持结构化与非结构化数据处理。
编写和优化数据清洗、转换与加载脚本,保障数据准确性与完整性。
搭建实时与离线数据处理链路,满足业务侧分析需求。
3. 数据存储与管理
熟悉HDFS、HBase、Cassandra等分布式存储系统,优化数据存放策略。
维护Hive、ClickHouse等数据仓库,提升查询效率与分析能力。
4. Python开发
使用Python开发数据处理程序、自动化运维工具及分析模块。
掌握PySpark、Pandas、Dask等常用大数据处理库。
协同团队构建数据接口或服务,支撑业务系统数据调用。
5. 协作与优化
与数据科学家、分析师及业务部门紧密配合,提供可靠数据支持。
持续改进数据流程,提高系统性能与资源使用率。
任职要求:
1. 教育背景
计算机科学、数据科学、软件工程或相关专业本科及以上学历。
2. 技术能力
熟悉Hadoop、Spark、Flink、Kafka等技术栈的部署与调优,理解分布式计算机制,具备实际集群管理经验。
精通SQL,掌握Hive、ClickHouse等数仓工具,有ETL开发经历,了解数据清洗与转换逻辑。
熟练使用Python,熟悉PySpark、Pandas等数据处理生态,熟练在Linux环境下开发,能编写Shell脚本实现自动化操作。
加分项:
具备AWS、Azure、阿里云等云平台大数据服务使用经验。
了解Docker、Kubernetes在大数据环境中的落地实践。
有机器学习或数据挖掘项目经历者优先考虑。
经验要求:
1. 3年以上大数据开发或运维相关工作经验。
2. 具备真实的大数据平台搭建与调优实战经验。
软技能:
1. 具备较强的系统问题排查与解决能力,可独立完成故障分析。
2. 拥有良好的团队合作意识,能够与多职能团队顺畅沟通。
3. 关注技术发展趋势,学习能力强,主动性强。
2026-04-22 12:28
IP属地:四川成都
职位福利
本科3-5年Hive要求数据开发经验数据建模经验KafkaSpark数据平台开发经验Flink数据治理经验Python

成都安腾斯科技有限公司
未融资 · 20-99人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
数据工程师(数据湖方向-成都)
1.1-1.6万元/月
数据开发3-5年本科JavaHiveShell要求数据开发经验ScalaETL开发经验Spark数据仓库开发经验数据平台开发经验Flink数据治理经验Python
成都 武侯区
Power BI开发工程师
1.5-1.8万元/月
数据开发5-10年大专要求数据开发经验Power BIPowerBIBI报表开发经验PowerBI开发Spark数据平台开发经验SQL
成都 武侯区
数据分析开发
7000-10000元/月
数据开发1-3年本科JavaDoris原理/源码Clickhouse原理/源码要求数据开发经验Elasticsearch原理/源码Spark原理/源码大数据引擎开发经验GoKafka非外包类Oracl
成都 武侯区
大数据开发工程师-数据平台
1.4-1.6万元/月
数据开发5-10年本科Java要求数据开发经验电商/零售行业经验非外包类制造业行业经验Spark数据平台开发经验Flink
成都 武侯区
高级数据开发工程师
1.5-2万元/月
数据开发5-10年本科要求数据开发经验PostgreSQLSpark原理/源码数据建模经验MySQL/SQL Server实时数仓开发经验Flink数据仓库开发经验PythonPostgreSQL原理/源
成都 武侯区
数据工程师(专注数据湖架构)
1.5-1.6万元/月
数据开发3-5年本科JavaHive要求数据开发经验ETL开发经验BI报表开发经验实时数仓开发经验Spark数据平台开发经验数据仓库开发经验Python
成都 武侯区
大数据开发+待遇优厚+双休
1.1-1.8万元/月
数据开发3-5年本科云原生大数据架构Java要求数据开发经验Kafka原理/源码Spark原理/源码大数据引擎开发经验Flink原理/源码实时数仓开发经验数据平台开发经验FlinkHiveHive原
成都 武侯区
数据中台研发工程师-RAG技术方向
3-6万元/月
数据开发3-5年本科Java算法Hive要求数据开发经验搜索增强生成非外包类RAG其他Spark数据平台开发经验FlinkPython
成都 武侯区









