整个技术架构围绕数据源抽取、数据交换、ETL逻辑加工、数据查询、产品端展示展开。 数据源抽取:实现:基于库表及日志两类数据源进行数据ETL 工具:hdfs集成使用sqoop\databus\hdfsload\flume kafka集成使用exp\flume hbase集成使用自研工具 数据交换:实现:跨存储数据交换 交换场景:主要为kafka数据备份离线,实时维表集成hbase\cl
人店数据中台-基础明细层dwd\base:实现:面向人店业务板块的数据域抽象,抽象设计各数据域业务过程模型,沉淀分析统计维度 建模方式:面向统计分析的维度建模,通过抽象业务过程和维度建立表关系 数据内容:数据域业务过程模型基础-明细模块总线 人店数据中台-公共分析层dws\common:实现:面向分析主题可加指标轻度汇总,非
整个技术架构围绕数据源抽取、数据交换、ETL逻辑加工、数据查询、产品端展示展开。 数据源抽取:实现:基于库表及日志两类数据源进行数据ETL 工具:hdfs集成使用sqoop\databus\hdfsload\flume kafka集成使用exp\flume hbase集成使用自研工具 数据交换:实现:跨存储数据交换 交换场景:主要为kafka数据备份离线,实时维表集成hbase\cl...
人店数据中台-基础明细层dwd\base:实现:面向人店业务板块的数据域抽象,抽象设计各数据域业务过程模型,沉淀分析统计维度 建模方式:面向统计分析的维度建模,通过抽象业务过程和维度建立表关系 数据内容:数据域业务过程模型基础-明细模块总线 人店数据中台-公共分析层dws\common:实现:面向分析主题可加指标轻度汇总,非...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人