理解hadoop中的hdfs和MapReduce等原理，进行MapReduce模型编码，能够部署和配置集群。
熟练掌握hadoop的中MapReduce，hive等。
熟练掌握Spark来进行离线或者实时的数据分析。
熟练掌握hive的工作原理，了解数据仓库的建立，完成对数据主题抽取和多维分析。
理解hbase的存储原理，hbase存储架构，检索原理，以及Hbase的相关调优。
熟练掌握大数据中的Kafka、Flume、Azkaban、Sqoop、Zookeeper等组件。
熟悉Java、scala等编程语言。
熟练掌握oracle、mysql等关系型数据库，对sql操作很熟练。
熟练掌握linux常用命令，会编写shell脚本。
熟悉linux操作系统。
熟练掌握redis的操作以及使用
熟练掌握spring boot的操作及使用。

项目职责：数据处理端：使用spark、hive、sqoop、oracle等技术，产生的结果集表；接口服务端：用spring boot 技术编写rest接口，编写接口文档，部署并提供服务。