数据中台的统一数据模型及数据服务标准规范

猿急送>北京后端兼职程序员>剑及履及>

案例列表

基本信息

案例ID：196058

技术顾问：剑及履及 - 3年经验 - 中国科学院信息工程研究所

联系沟通

微信扫码，建群沟通

项目名称：数据中台的统一数据模型及数据服务标准规范

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

早在2016年，阿里巴巴就提出了数据中台建设的核心理念：One Data, One Service。用一句话定义：所有数据只加工一次，数据即服务。例如，功率预测场景，数据中台就是要在整个功率预测业务形成一个公共数据层，协同跨部门的小数仓，实现数据的复用，不会因为不同的应用场景，不同的部门数据重复加工。那么，如何去做才能实现数据只加工一次呢？有以下五点：
 划分主题域
 命名规范定义
 数据体系建设
 元数据管理
 数据服务
首先，你需要划分主题域。我们可以将所有的表划到不同的主题域中，比如在功率预测业务中，电场、气象、功率都可以作为主题域。标准且准确的主题域划分，是相对稳定的，尽可能地覆盖绝大多数的表。除此之外，还要对表的命名进行规范化统一，表的名称中最好能够携带表的主题域、业务过程、分层以及分区信息。
接下来，为了实现模型的复用，数据中台的数据存储适合采用分层设计方式，常见的分层包括：ODS原始数据层、DWD明细数据层、DWS数据集市层、ADS应用数据层。
最后，数据中台的数据必须尽可能的覆盖所有的业务过程，数据中台中每一层的数据也要尽可能完善，让数据使用者尽可能的使用汇总后的数据。
综上，One Data 体系的目标是构建统一的数据规范标准，让数据成为一种资产，而不是成本。