1.熟悉Linux开发环境,能够编写Shell脚本.
2.掌握Hadoop分布式系统与MapReduce 的原理, 熟悉使用MapReduce程序进行不同业务场景需求的数据处理.
3.掌握使用Hive构建相关行业的数仓,以及基于数仓实现指标离线分析,能够结 合相关情况对Hive进行一定程度上的优化.
4.熟悉HBase,Kudu相关框架的使用,熟悉Kafka工作原理。
5.掌握Spark的底层机制以及工作原理,能够运用Spark Core,Spark SQL,Spark Streaming,以及Structured Streaming完成离线和实时业务数据处理,利用 Spark计算引擎整合 Hive完成数据的统计分析.
熟悉Sqoop,Azkaban,Oozie等工具的使用。
6.python开发
1.熟悉Linux开发环境,能够编写Shell脚本.
2.掌握Hadoop分布式系统与MapReduce 的原理, 熟悉使用MapReduce程序进行不同业务场景需求的数据处理.
3.掌握使用Hive构建相关行业的数仓,以及基于数仓实现指标离线分析,能够结 合相关情况对Hive进行一定程度上的优化.
4.熟悉HBase,Kudu相关框架的使用,熟悉Kafka工作原理。
5.掌握Spark的底层机制以及工作原理,能够运用Spark Core,Spark SQL,Spark Streaming,以及Structured Streaming完成离线和实时业务数据处理,利用 Spark计算引擎整合 Hive完成数据的统计分析.
熟悉Sqoop,Azkaban,Oozie等工具的使用。
6.python开发