一. 项目背景
1. 互联网数字经济时代, 大数据已经成为生产要素之一
2. 通过分析脱敏后的用户行为数据, 让数据产生价值, 让数据为企业发展, 为行业建设提供一些决策的
建设性的依据和支撑
3. 通过用户行为的分析, 增强网络安全和信息数据安全的建设
二、 项目的价值
1. 为相关统计部门提供数据支持, 比如上网的用户时长, 上网的用户人数, 上网模式的占比等等
2. 为行业发展的预测提供数据支撑
3. 为企业发展提供数据支撑, 分析每个网站的访问情况
三、最终成果
Hadoop基本环境搭建 大数据环境的统一配置, HDSF分布式存储环境搭建, Yarn分布式任务调度
MySQL数据库的安装和应用
SpringBoot项目的日志生成生成程序的流程分析
Flume日志采集到HDFS,并且完成shell脚本的编写
Hive-on-Spark环境的搭建
Hive的基本操作, 外部表,分区表的创建,表数据的导入
数据仓库的分层架构 ODS --> DWD --> DWS --> ADS 数仓结构设计
DataX技术从ADS同步数据到MySQL数据库
QuickBI完成数据可视化处理