GAP-数仓&Report开发
案例介绍
为gap客户收集每年在大陆，台湾线上线下门店的销售数据，存入ODS层数据库。
对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年，月，
季度，周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为
数据可视化，数据分析报表提供数据支持。使用可视化工具和前端框架对ADS
层数据进行可视化，为客户进行数据分析提供可视化服务。
我负责的内容：
1.将客户提供的xlsx文件数据用python转换成csv文件传到HDFS文件系统中，然
后映射到hive数据库。
2.使用sql将ODS层数据进行处理分层存入DWD,DWS,ADS层当中。
3.将 hive数据库中ADS层数据使用DataX同步到clickhouse中，为数据可视化提
供支持。
4.使用Vue框架以及可视化工具对部分数据进行可视化。
5.对数据进行质量测试并撰写测试报告。
技术：
HDFS+hive+MapReduce+sql+clickhouse+DataX+Redis+Linux+shell+python+Java
+Springboot+Vue+Mysql+tableau
GAP-数仓&Report开发
案例介绍
项目介绍：
为gap客户收集每年在大陆，台湾线上线下门店的销售数据，存入ODS层数据库。
对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年，月，
季度，周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为
数据可视化，数据分析报表提供数据支持。使用可视化工具和前端框架对ADS
层数据进行可视化，为客户进行数据分析提供可视化服务。
我负责的内容：
1.将客户提供的xlsx文件数据用python转换成csv文件传到HDFS文件系统中，然
后映射到hive数据库。
2.使用sql将ODS层数据进行处理分层存入DWD,DWS,ADS层当中。
3.将 hive数据库中ADS层数据使用DataX同步到clickhouse中，为数据可视化提
供支持。
4.使用Vue框架以及可视化工具对部分数据进行可视化。
5.对数据进行质量测试并撰写测试报告。
技术：
HDFS+hive+MapReduce+sql+clickhouse+DataX+Redis+Linux+shell+python+Java
+Springboot+Vue+Mysql+tableau
案例图片
相似案例推荐
-
千讯通
主要经营为通讯器材等设备，通过小程序实现光猫、机顶盒、路由器
-
链车引力
链车引力是专注于新能源汽车服务领域，为用户提供选车、买车、用
-
电商运营后台
电商运营后台 项目概述：本项目主要为服务于用户及商家及运营
-
微商来商城
这是一款微商城+多级分销+分红代理+营销活动+新零售多层级的
-
有路平台（核心项目app）
内容: 主要对商品信息浏览购买以及游戏签到问卷等相关活动的
-
NFT数字藏品--移动端
完成登陆页面，注册页面表单构建，交互，路由跳转等； 根
1小时精推人才
需求方专属客服，免费梳理匹配
