1.熟悉Linux开发环境,能够编写Shell脚本.
2.掌握Hadoop分布式系统与MapReduce 的原理, 熟悉使用MapReduce程序进行不同业务场景需求的数据处理.
3.掌握使用Hive构建相关行业的数仓,以及基于数仓实现指标离线分析,能够结 合相关情况对Hive进行一定程度上的优化.
4.熟悉HBase,Kudu相关框架的使用,熟悉Kafka工作原理。
5.掌握Spark的底层机制以及工作原理,能够运用Spark Core,Spark SQL,Spark Streaming,以及Structured Streaming完成离线和实时业务数据处理,利用 Spark计算引擎整合 Hive完成数据的统计分析.
熟悉Sqoop,Azkaban,Oozie等工具的使用。
6.python开发