职位详情
职位描述:
1、基于集团数据底座开展数据采集工作,接入多元化业务数据源,涵盖:业务数据库(如MySQL、Oracle等关系型数据库);第三方数据接口(API接口、FTP文件、消息队列Kafka/RabbitMQ中的数据);离线数据文件(包括CSV、Excel、Parquet等格式的批量数据)。
2、依托集团数据底座实施数据采集任务的运行监控与数据质量核查,依照数仓建模规范完成数据清洗,并将处理后的数据推送至前端应用数据库。
协同业务方及前后端开发团队进行数据比对测试、日常巡检等工作,针对实际问题实施脚本调优、存储结构调整及查询性能优化等措施。
任职要求:
1、具备复杂SQL脚本编写能力,掌握数仓构建基本原理,熟练操作各类数据库工具,如mysql、oracle等
2、需具备大数据离线开发实践经验,熟悉大数据技术栈中各核心组件,包括hive、kafka、sqoop、flume、Spark、flink等
3、具备良好沟通能力,在深入理解业务后可与客户对接数据定义、应用功能需求等内容
抗压能力强,能适应加班节奏,工作细致负责;有数仓开发项目经历者优先,学历要求本科及以上
1、基于集团数据底座开展数据采集工作,接入多元化业务数据源,涵盖:业务数据库(如MySQL、Oracle等关系型数据库);第三方数据接口(API接口、FTP文件、消息队列Kafka/RabbitMQ中的数据);离线数据文件(包括CSV、Excel、Parquet等格式的批量数据)。
2、依托集团数据底座实施数据采集任务的运行监控与数据质量核查,依照数仓建模规范完成数据清洗,并将处理后的数据推送至前端应用数据库。
协同业务方及前后端开发团队进行数据比对测试、日常巡检等工作,针对实际问题实施脚本调优、存储结构调整及查询性能优化等措施。
任职要求:
1、具备复杂SQL脚本编写能力,掌握数仓构建基本原理,熟练操作各类数据库工具,如mysql、oracle等
2、需具备大数据离线开发实践经验,熟悉大数据技术栈中各核心组件,包括hive、kafka、sqoop、flume、Spark、flink等
3、具备良好沟通能力,在深入理解业务后可与客户对接数据定义、应用功能需求等内容
抗压能力强,能适应加班节奏,工作细致负责;有数仓开发项目经历者优先,学历要求本科及以上
2026-09-23 13:11
IP属地:上海
职位福利
大专5-10年要求数据开发经验数据建模经验ClickhouseKafkaBI报表开发经验实时数仓开发经验Spark数据仓库开发经验OracleFlinkSQL

上海弘雅信息科技有限公司
不需要融资 · 100-499人


鱼泡安全保障
如遇到办证收费、刷单、传销、诱导买车等违规行为,请立即向鱼泡直聘投诉举报投诉举报 >

附近适合您的职位
1.1-1.6万/月
数据开发3-5年本科DataX银行监管要求数据开发经验银行ETL开发经验BI报表开发经验MySQL/SQL Server数据仓库开发经验金融行业经验SQL
上海 浦东新区
2.8-5.5万/月
数据开发3-5年本科Java要求数据开发经验Spark原理/源码大数据引擎开发经验Flink原理/源码Kafka非外包类计算机相关专业数据平台开发经验FlinkHBaseHBase原理/源码Hiv
上海 浦东新区
1.3-1.6万/月
数据开发3-5年大专要求数据开发经验GoGo语言计算机相关专业SQL数据库内核开发经验MySQL原理/源码ShellLinuxkafka/MQMySQlDocker/KubernetesPytho
上海 浦东新区
1.2-1.7万/月
数据开发3-5年本科JavaHive要求数据开发经验Kafka银行保险金融数据平台开发经验Flink金融行业经验SQL
上海 浦东新区









