大数据工程师

成都

成都安腾斯科技有限公司

职位详情

职位描述：
我们正在寻找一名经验丰富的大数据工程师，负责部署、维护和优化开源大数据应用，并能够高效处理海量数据。您将参与大数据平台的搭建、数据管道的开发以及数据分析工作，确保数据系统的稳定性、可扩展性和高性能。同时，您需要具备扎实的Python编程能力，能够编写高效的数据处理脚本和自动化工具。

主要职责：
1.大数据平台部署与维护
负责开源大数据框架（如Hadoop、Spark、Flink、Kafka等）的部署、配置和调优。
监控大数据集群的运行状态，确保高可用性和性能优化。
解决大数据平台运行中的故障和性能瓶颈问题。
2.数据处理与开发
设计并实现高效的数据ETL流程，处理结构化与非结构化数据。
开发和优化数据清洗、转换和加载（ETL）脚本，确保数据质量。
构建实时/离线数据处理管道，支持业务数据分析需求。
3.数据存储与管理
熟悉分布式存储系统（如HDFS、HBase、Cassandra等），优化数据存储方案。
管理数据仓库（如Hive、ClickHouse等），支持高效查询与分析。
4.Python开发
使用Python编写数据处理脚本、自动化工具及数据分析程序。
熟悉Python生态中的大数据工具（如PySpark、Pandas、Dask等）。
配合团队开发数据API或数据服务，支持业务需求。
5.协作与优化
与数据科学家、分析师及业务团队协作，提供数据支持。
持续优化数据处理流程，提升系统性能和资源利用率。

任职要求：
1.教育背景
计算机科学、数据科学、软件工程或相关领域的本科及以上学历。
2.技术能力
大数据技术栈：熟悉Hadoop、Spark、Flink、Kafka等大数据框架的部署与调优。了解分布式计算原理，具备集群管理经验。
数据处理：熟练编写SQL，熟悉Hive、ClickHouse等数据仓库技术。有ETL开发经验，熟悉数据清洗与转换流程。
编程能力：精通Python，熟悉PySpark、Pandas等数据处理库。熟悉Linux环境，能编写Shell脚本进行自动化运维。

加分项：
熟悉云计算平台（如AWS、Azure、阿里云）的大数据服务。
了解容器化技术（Docker、Kubernetes）在大数据场景的应用。
有机器学习/数据挖掘经验者优先。

经验要求：
1.3年以上大数据开发或运维相关工作经验。
2.有实际的大数据平台部署和调优经验。

软技能：
1.良好的问题分析与解决能力，能独立排查系统问题。
2.具备团队协作精神，能与跨部门团队高效沟通。
3.对新技术敏感，有较强的学习能力和主动性。

2026-04-23 14:11

IP属地：四川成都

职位福利

本科