数据中台数据采集

企业服务 数据服务 案例ID:179846
薯饼🍪
1 年经验· 京东
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

项目一:数据治理系统(数据中台)
开发环境:
Ranger(数据安全)+Atlas(元数据管理)+SparkSQL/Griffin(数据质量)+CKAN(数据资产)
+MetaData(数据共享+指标体系)+数据 API 化
项目描述:
基于原有的离线数仓升级到数据中台,在数据仓库的原有基础上,将数据标准进行量化,通过数据安
全管理、元数据管理、数据质量监控以及数据资产管理,实现数据治理模块。
责任描述:
1. 负责数据治理设计框架的调研、架构设计、搭建以及维护
2. 负责数据标准把控,数据检验流程规范设计和数据质量脚本落地
责任描述:
1. 使用 Ranger 过滤敏感数据,例如供应商具体信息以及供应商报价等;对用户姓名、电话、
地址等敏感信息进行脱敏。
2. 使用 Griffin 进行数据对比,并通过 SparkSQL 进行数据检验,检查数据是否满足数据规范以
及数据质量标准。
3. 使用 Atlas 作为元数据管理工具,追踪从数据库-数据仓库-可视化的血缘关系。

数据中台数据采集

企业服务 · 数据服务 案例ID:179846
联系该工程师
微信扫码,建群沟通
作者: 薯饼🍪 - 1年经验- 京东

案例介绍

项目一:数据治理系统(数据中台)
开发环境:
Ranger(数据安全)+Atlas(元数据管理)+SparkSQL/Griffin(数据质量)+CKAN(数据资产)
+MetaData(数据共享+指标体系)+数据 API 化
项目描述:
基于原有的离线数仓升级到数据中台,在数据仓库的原有基础上,将数据标准进行量化,通过数据安
全管理、元数据管理、数据质量监控以及数据资产管理,实现数据治理模块。
责任描述:
1. 负责数据治理设计框架的调研、架构设计、搭建以及维护
2. 负责数据标准把控,数据检验流程规范设计和数据质量脚本落地
责任描述:
1. 使用 Ranger 过滤敏感数据,例如供应商具体信息以及供应商报价等;对用户姓名、电话、
地址等敏感信息进行脱敏。
2. 使用 Griffin 进行数据对比,并通过 SparkSQL 进行数据检验,检查数据是否满足数据规范以
及数据质量标准。
3. 使用 Atlas 作为元数据管理工具,追踪从数据库-数据仓库-可视化的血缘关系。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×