null
大数据开发，系统开发
北京宏天 · 10年经验
日薪：
￥600/8h
地点：
北京 朝阳
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉 HDFS 存储原理、YARN 资源调度流程、MapReduce 原理、了解 MR 程序的调优
熟悉 Hive 的原理，能根据业务建立数仓模型，完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析，熟悉 RowKey 的设计原理和优化方案
熟悉 Spark 运行原理，能运用 SparkSQL，Spark Streaming 编程，了解 Spark 优化。
熟悉 Kafka 消息队列，能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
熟悉 java、scala、python 等开发语言，了解 vue 前端框架。
熟悉 Hive 的原理，能根据业务建立数仓模型，完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析，熟悉 RowKey 的设计原理和优化方案
熟悉 Spark 运行原理，能运用 SparkSQL，Spark Streaming 编程，了解 Spark 优化。
熟悉 Kafka 消息队列，能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
熟悉 java、scala、python 等开发语言，了解 vue 前端框架。
项目经验
* 项目描述: : 此平台将中信银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API
服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高
效、稳定、灵活的查询服务。
接口，为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口，为 I API 提供方提供注册服务，使
这部分
提供方提供注册服务，使
这部分 I API 从申请到使用得到管理和监控，保障 I API 的安全、稳定。
* * 项目职责 :1. 数据同步服务、查询引擎相关的需求分析、方案设计，开发，上线 2.数据同步任务调度策略设
计、开发上线
数据同步任务调度策略设
计、开发上线 3. 大数据组件（ DATAX/ES/Trino/Hbasae/StarRocks ）不同版本的适配对接、维护及优化 4.团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查
团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查 5.
服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高
效、稳定、灵活的查询服务。
接口，为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口，为 I API 提供方提供注册服务，使
这部分
提供方提供注册服务，使
这部分 I API 从申请到使用得到管理和监控，保障 I API 的安全、稳定。
* * 项目职责 :1. 数据同步服务、查询引擎相关的需求分析、方案设计，开发，上线 2.数据同步任务调度策略设
计、开发上线
数据同步任务调度策略设
计、开发上线 3. 大数据组件（ DATAX/ES/Trino/Hbasae/StarRocks ）不同版本的适配对接、维护及优化 4.团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查
团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查 5.
null
大数据开发，系统开发 · 10年经验 · 北京宏天
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉 HDFS 存储原理、YARN 资源调度流程、MapReduce 原理、了解 MR 程序的调优
熟悉 Hive 的原理，能根据业务建立数仓模型，完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析，熟悉 RowKey 的设计原理和优化方案
熟悉 Spark 运行原理，能运用 SparkSQL，Spark Streaming 编程，了解 Spark 优化。
熟悉 Kafka 消息队列，能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
熟悉 java、scala、python 等开发语言，了解 vue 前端框架。
熟悉 Hive 的原理，能根据业务建立数仓模型，完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析，熟悉 RowKey 的设计原理和优化方案
熟悉 Spark 运行原理，能运用 SparkSQL，Spark Streaming 编程，了解 Spark 优化。
熟悉 Kafka 消息队列，能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
熟悉 java、scala、python 等开发语言，了解 vue 前端框架。
项目经验
* 项目描述: : 此平台将中信银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API
服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高
效、稳定、灵活的查询服务。
接口，为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口，为 I API 提供方提供注册服务，使
这部分
提供方提供注册服务，使
这部分 I API 从申请到使用得到管理和监控，保障 I API 的安全、稳定。
* * 项目职责 :1. 数据同步服务、查询引擎相关的需求分析、方案设计，开发，上线 2.数据同步任务调度策略设
计、开发上线
数据同步任务调度策略设
计、开发上线 3. 大数据组件（ DATAX/ES/Trino/Hbasae/StarRocks ）不同版本的适配对接、维护及优化 4.团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查
团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查 5.
服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高
效、稳定、灵活的查询服务。
接口，为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口，为 I API 提供方提供注册服务，使
这部分
提供方提供注册服务，使
这部分 I API 从申请到使用得到管理和监控，保障 I API 的安全、稳定。
* * 项目职责 :1. 数据同步服务、查询引擎相关的需求分析、方案设计，开发，上线 2.数据同步任务调度策略设
计、开发上线
数据同步任务调度策略设
计、开发上线 3. 大数据组件（ DATAX/ES/Trino/Hbasae/StarRocks ）不同版本的适配对接、维护及优化 4.团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查
团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查 5.
案例展示
数据API管理平台
项目描述: : 此平台将中信银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API 服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高 效、稳定、灵活的查询服务。 接口，为业务提供高
数据湖平台建设
* 项目描述: :此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构 化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响 应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽
数据湖平台建设
* 项目描述: :此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构 化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响 应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽
立即沟通
相似人才推荐：
