新闻网大数据可视化系统
本项目实现了大数据项目的全流程:业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计等;
综合运用了包括Hadoop3.1.4、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、Spark Streaming、MySQL、Hue、Web socket等技术栈。通过运用这些技术,实现了数据获取和统计以及生成报表和全流程调度。
电商数仓
通过本数仓项目实现了数仓的建模设计(ODS层、DIM层、DWD层和ADS层等的设计),以及实现了全流程的调度和Superset的可视化,基本熟悉了企业级数仓建立的全流程。