技术:1.理解hadoop的分布式文件系统,掌握hadoop集群的搭建 2.根据业务需求,完成Map/Reduce编程 3.熟悉hive数据仓库 4.熟悉hbase,clickhouse面向列式的分布式数据存储系统及mongodb分布式文件存储系统 5.擅长kafka 消息队
项目:项目名称:MA系统 软件架构:基于微软云腾讯云进行大数据平台构建及开发,项目涉及技术框架及技术有hue,oozie,hadoop,hive,flink,kafka,redis,flume,mysql,clickhouse等相关内容。 开发环境:idea+Tomcat+mys
案例: ETL数仓系统及推荐系统