猿急送>

北京Java兼职程序员

ID：424656

null

大数据开发，系统开发

公司信息：
北京宏天

工作经验：
10年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
朝阳

技术能力

 熟悉 HDFS 存储原理、YARN 资源调度流程、MapReduce 原理、了解 MR 程序的调优
 熟悉 Hive 的原理，能根据业务建立数仓模型，完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
 熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析，熟悉 RowKey 的设计原理和优化方案
 熟悉 Spark 运行原理，能运用 SparkSQL，Spark Streaming 编程，了解 Spark 优化。
 熟悉 Kafka 消息队列，能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
 熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
 熟悉 java、scala、python 等开发语言，了解 vue 前端框架。

项目经验

* 项目描述: : 此平台将中信银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API
服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高
效、稳定、灵活的查询服务。
接口，为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口，为 I API 提供方提供注册服务，使
这部分
提供方提供注册服务，使
这部分 I API 从申请到使用得到管理和监控，保障 I API 的安全、稳定。
* * 项目职责 :1. 数据同步服务、查询引擎相关的需求分析、方案设计，开发，上线 2.数据同步任务调度策略设
计、开发上线
数据同步任务调度策略设
计、开发上线 3. 大数据组件（ DATAX/ES/Trino/Hbasae/StarRocks ）不同版本的适配对接、维护及优化 4.团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查
团
队管理，外包人员的开发任务分配、方案建议及评审、代码走查 5.

案例展示

数据API管理平台

项目描述: : 此平台将中信银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API 服务。平台的两大主体功能： 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口，为业务提供高效、稳定、灵活的查询服务。接口，为业务提供高
数据湖平台建设

* 项目描述: :此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽
数据湖平台建设

* 项目描述: :此平台分为两大部分，数据湖系统和大数据研发平台。数据湖系统为实现全行贴源数据（结构化、非结构化、半结构化、外部数据和实时数据）和归档数据的集成管理，缩短数据加工路径，提升需求响应效率。大数据研发平台为面向大数据开发工程师建设的一站式研发平台，以可视化拖拽