茅台

工作内容及项目背景：外派微软项目组，参与并实施诺和诺德（中国）的大数据分析应用平台建设
。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案，对诺和诺德现有
AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合，搭建诺和诺德中国统一的数据与
分析平台 DAP 。
项目架构：DAP 平台的数据架构、数据存储处理将基于湖仓一体的数据平台架构，即数据平台需
同时具备数据湖和数据仓库的能力。数据接入 DAP后，将分为 Landing 落地区、RAW 原始数据
历史区、Stage 质量检查与标准化处理区、Delta 数据变化处理与存储区、Data Vault 公司统一
模型明细数据存储区 DWD、DWB 分析基础数据区以及 DWS 面向分析服务的数据集存储区。加工
处理后的数据也将通过数据服务的方式提供给下游应用或用户、支持数据库、文件及 API 等形
式。
项目应用到的技术及工具：Azure Data Lake、Azure Databricks、Azure Data Factory、Azure
SQL Database、Databricks Sql、Python、Spark、Scala
本人负责的工作内容：
1. 根据上游（delta、dwd）Mapping 文档及用户需求（URS ）独立开发并实施 MAPA、CLD、
Finance、Medicalvisit、Multidomain、Downstream 等业务域的 DWB、DWS 层事实表及视
图，主要通过 Databricks SQL、python及 scala 代码完成上述工作。
2. 整理上述开发所需要用到的数据源 SQL 脚本给到数据架构，用来生成 stage、delta、dwd 等
每一层的建模脚本及 mapping 文档。
3. 整理每一层要跑的数据源 mapping 文档给到负责 ETL 的同学进行相应的配置。
4. 将部分开发好的 DWS 层数据生成 view 视图，推送给下游，推送方式采用 adf etl 工具，编写
每一个视图的 pipeline ，推送到下游的数据库，或者是生成 CSV 文件推送到共享文件目录。
业绩:
通过一年多的实施与开发，期间经历了大量的 SIT、UAT 测试，并取得了用户的一直认可，最终成
功并上线了诺和诺德（中国）的大数据分析应用平台。