一.大数据
1.Linux操作,shell编写,腾讯云,阿里云服务器使用
2.企业级cdh平台大型集搭建(cm,tar或apache版本) zookeeper,HDFS,hdfs高可用,yarn,hive,hbase,kafka,flume,sqoop2,kettle,Redis,storm,及spark,python3编译,hue,使用webui进行开发,对hadoop生态圈有深入了解
3.熟悉hdfs、mapreduce、yarn等hadoop生态体系相关技术。能独立完成集群环境部署以及mapreduce程序的开发
4.scala语言编写
5.idea/eclipse,secureCRT,xshell工具使用
6.熟悉zookeeper分布式协调服务的使用
7.Hbase数据库,熟练使用客户端进行数据操作。
8.熟练使用Hive,熟练使用hql,udf进行数据分析,熟练使用sqoop进行关系型数据库,了解kettle
与hdfs/hive之间进行数据定时导入导出
9.flume+kafka+storm流式计算相关框架技术
10.使用idea进行开发spark,Spark-Streaming,spark-Sql有使用经验
11.使用spark+flume,spark+kafka
12.阅读使用cdh文档,Apache api,github
13.python的基本使用, scrapy爬虫
14.了解云计算,OpenStack,搭建OpenStack界面,会调用第三方OpenStack4j接口
15.了解机器学习应用,了解elasticsearch
16.https://blog.csdn.net/kk25114
17.github: https://github.com/yanke312090307/