技术能力

理解Hadoop的分布式文件系统MapReduce计算模型
了解Elasticsearch搜索引擎，Redis数据库，Storm计算框架
熟练使用Sqoop工具，实现非关系型数据库与关系型数据库表数据互导
熟练使用Flume、Logstash数据采集工具
掌握kettle的使用
掌握Spark对流式数据在线处理分析以及对出现的问题进行排查与性能调优
理解Spark任务的执行流程和内核的相关组件
熟悉Spark基本框架(Spark Core/Spark SQL/SparkStreaming)
理解HBase 的底层的储存机制和存储原理，可以使用API进行数据的操作
熟悉Hive的工作原理，使用Hive进行数据统计分析
熟悉MySQL数据库，了解GP数据库
了解Java/Scala编程语言及shell脚本
了解Active调度

项目经验

项目一：华夏信用卡大数据平台建设
开发语言：Java、Shell、Perl
项目架构：Fi（华为大数据平台） + GP + Active（调度）
项目描述：本项目是把华夏卡中心SAS数据分析平台迁移到华为的大数据平台FI上，并对迁移的数据做模型及接口
开发过程：每日获取ftp上七个系统以及其他外围系统系统的增量数据压缩包，解压及转码，放入指定文件夹，active调度执行任务，源数据文件入ODM层，ODM做拉链表或者快照表到SAS层，PDM整合层，GDM共性加工层（指标，统计），对外服务层（年月账单），对接APP等系统
职责描述：
1、源文件入库ODM，ODM层入库SAS层及任务分配
2、系统搭建以及生产脚本部署
3、数据初始化，追批，校验以及上调度
4、半结构化数据解析及入库（json数据）
5、写运维，上线等等步骤，SIT，UAT等各种文档

团队情况