数据仓库架构

企业服务-数据服务 王一帆

整个技术架构围绕数据源抽取、数据交换、ETL逻辑加工、数据查询、产品端展示展开。 数据源抽取:实现:基于库表及日志两类数据源进行数据ETL                      工具:hdfs集成使用sqoop\databus\hdfsload\flume                                kafka集成使用exp\flume                                hbase集成使用自研工具 数据交换:实现:跨存储数据交换                   交换场景:主要为kafka数据备份离线,实时维表集成hbase\cl...

数据仓库架构
数据仓库架构

离线数仓架构

企业服务-数据服务 王一帆

人店数据中台-基础明细层dwd\base:实现:面向人店业务板块的数据域抽象,抽象设计各数据域业务过程模型,沉淀分析统计维度                                                                    建模方式:面向统计分析的维度建模,通过抽象业务过程和维度建立表关系                                                                    数据内容:数据域业务过程模型基础-明细模块总线 人店数据中台-公共分析层dws\common:实现:面向分析主题可加指标轻度汇总,非...

离线数仓架构
离线数仓架构
------ 加载完毕 ------
联系聘用方端客服