ID:242702
复制
on the way
有团队 · 可整包
高级设计开发工程师 · 6年经验 · 中点金信
0
累计接单
0
用户评价
0
被收藏
技术能力
理解Hadoop的分布式文件系统MapReduce计算模型
了解Elasticsearch搜索引擎，Redis数据库，Storm计算框架
熟练使用Sqoop工具，实现非关系型数据库与关系型数据库表数据互导
熟练使用Flume、Logstash数据采集工具
掌握kettle的使用
掌握Spark对流式数据在线处理分析以及对出现的问题进行排查与性能调优
理解Spark任务的执行流程和内核的相关组件
熟悉Spark基本框架(Spark Core/Spark SQL/SparkStreaming)
理解HBase 的底层的储存机制和存储原理，可以使用API进行数据的操作
熟悉Hive的工作原理，使用Hive进行数据统计分析
熟悉MySQL数据库，了解GP数据库
了解Java/Scala编程语言及shell脚本
了解Active调度
了解Elasticsearch搜索引擎，Redis数据库，Storm计算框架
熟练使用Sqoop工具，实现非关系型数据库与关系型数据库表数据互导
熟练使用Flume、Logstash数据采集工具
掌握kettle的使用
掌握Spark对流式数据在线处理分析以及对出现的问题进行排查与性能调优
理解Spark任务的执行流程和内核的相关组件
熟悉Spark基本框架(Spark Core/Spark SQL/SparkStreaming)
理解HBase 的底层的储存机制和存储原理，可以使用API进行数据的操作
熟悉Hive的工作原理，使用Hive进行数据统计分析
熟悉MySQL数据库，了解GP数据库
了解Java/Scala编程语言及shell脚本
了解Active调度
项目经验
项目一：华夏信用卡大数据平台建设
开发语言：Java、Shell、Perl
项目架构：Fi（华为大数据平台） + GP + Active（调度）
项目描述：本项目是把华夏卡中心SAS数据分析平台迁移到华为的大数据平台FI上，并对迁移的数据做模型及接口
开发过程：每日获取ftp上七个系统以及其他外围系统系统的增量数据压缩包，解压及转码，放入指定文件夹，active调度执行任务，源数据文件入ODM层，ODM做拉链表或者快照表到SAS层，PDM整合层，GDM共性加工层（指标，统计），对外服务层（年月账单），对接APP等系统
职责描述：
1、源文件入库ODM，ODM层入库SAS层及任务分配
2、系统搭建以及生产脚本部署
3、数据初始化，追批，校验以及上调度
4、半结构化数据解析及入库（json数据）
5、写运维，上线等等步骤，SIT，UAT等各种文档
开发语言：Java、Shell、Perl
项目架构：Fi（华为大数据平台） + GP + Active（调度）
项目描述：本项目是把华夏卡中心SAS数据分析平台迁移到华为的大数据平台FI上，并对迁移的数据做模型及接口
开发过程：每日获取ftp上七个系统以及其他外围系统系统的增量数据压缩包，解压及转码，放入指定文件夹，active调度执行任务，源数据文件入ODM层，ODM做拉链表或者快照表到SAS层，PDM整合层，GDM共性加工层（指标，统计），对外服务层（年月账单），对接APP等系统
职责描述：
1、源文件入库ODM，ODM层入库SAS层及任务分配
2、系统搭建以及生产脚本部署
3、数据初始化，追批，校验以及上调度
4、半结构化数据解析及入库（json数据）
5、写运维，上线等等步骤，SIT，UAT等各种文档
团队情况
服务范围：
团队构成：
负责人(高级设计开发工程师)
|
核心队员：产品经理 ·
UI设计师 ·
iOS工程师 ·
安卓工程师 ·
前端工程师 ·
后端工程师
立即沟通
