数据中台的统一数据模型及数据服务标准规范

企业服务 数据服务 案例ID:196058
剑及履及
3 年经验· 中国科学院信息工程研究所
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

早在2016年,阿里巴巴就提出了数据中台建设的核心理念:One Data, One Service。用一句话定义:所有数据只加工一次,数据即服务。例如,功率预测场景,数据中台就是要在整个功率预测业务形成一个公共数据层,协同跨部门的小数仓,实现数据的复用,不会因为不同的应用场景,不同的部门数据重复加工。那么,如何去做才能实现数据只加工一次呢?有以下五点:
 划分主题域
 命名规范定义
 数据体系建设
 元数据管理
 数据服务
首先,你需要划分主题域。我们可以将所有的表划到不同的主题域中,比如在功率预测业务中,电场、气象、功率都可以作为主题域。标准且准确的主题域划分,是相对稳定的,尽可能地覆盖绝大多数的表。除此之外,还要对表的命名进行规范化统一,表的名称中最好能够携带表的主题域、业务过程、分层以及分区信息。
接下来,为了实现模型的复用,数据中台的数据存储适合采用分层设计方式,常见的分层包括:ODS原始数据层、DWD明细数据层、DWS数据集市层、ADS应用数据层。
最后,数据中台的数据必须尽可能的覆盖所有的业务过程,数据中台中每一层的数据也要尽可能完善,让数据使用者尽可能的使用汇总后的数据。
综上,One Data 体系的目标是构建统一的数据规范标准,让数据成为一种资产,而不是成本。

数据中台的统一数据模型及数据服务标准规范

企业服务 · 数据服务 案例ID:196058
联系该工程师
微信扫码,建群沟通
作者: 剑及履及 - 3年经验- 中国科学院信息工程研究所

案例介绍

早在2016年,阿里巴巴就提出了数据中台建设的核心理念:One Data, One Service。用一句话定义:所有数据只加工一次,数据即服务。例如,功率预测场景,数据中台就是要在整个功率预测业务形成一个公共数据层,协同跨部门的小数仓,实现数据的复用,不会因为不同的应用场景,不同的部门数据重复加工。那么,如何去做才能实现数据只加工一次呢?有以下五点:
 划分主题域
 命名规范定义
 数据体系建设
 元数据管理
 数据服务
首先,你需要划分主题域。我们可以将所有的表划到不同的主题域中,比如在功率预测业务中,电场、气象、功率都可以作为主题域。标准且准确的主题域划分,是相对稳定的,尽可能地覆盖绝大多数的表。除此之外,还要对表的命名进行规范化统一,表的名称中最好能够携带表的主题域、业务过程、分层以及分区信息。
接下来,为了实现模型的复用,数据中台的数据存储适合采用分层设计方式,常见的分层包括:ODS原始数据层、DWD明细数据层、DWS数据集市层、ADS应用数据层。
最后,数据中台的数据必须尽可能的覆盖所有的业务过程,数据中台中每一层的数据也要尽可能完善,让数据使用者尽可能的使用汇总后的数据。
综上,One Data 体系的目标是构建统一的数据规范标准,让数据成为一种资产,而不是成本。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×