基本信息

案例ID:179846

技术顾问:薯饼🍪 - 1年经验 - 京东

联系沟通

微信扫码,建群沟通

项目名称:数据中台数据采集

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

项目一:数据治理系统(数据中台)
开发环境:
Ranger(数据安全)+Atlas(元数据管理)+SparkSQL/Griffin(数据质量)+CKAN(数据资产)
+MetaData(数据共享+指标体系)+数据 API 化
项目描述:
基于原有的离线数仓升级到数据中台,在数据仓库的原有基础上,将数据标准进行量化,通过数据安
全管理、元数据管理、数据质量监控以及数据资产管理,实现数据治理模块。
责任描述:
1. 负责数据治理设计框架的调研、架构设计、搭建以及维护
2. 负责数据标准把控,数据检验流程规范设计和数据质量脚本落地
责任描述:
1. 使用 Ranger 过滤敏感数据,例如供应商具体信息以及供应商报价等;对用户姓名、电话、
地址等敏感信息进行脱敏。
2. 使用 Griffin 进行数据对比,并通过 SparkSQL 进行数据检验,检查数据是否满足数据规范以
及数据质量标准。
3. 使用 Atlas 作为元数据管理工具,追踪从数据库-数据仓库-可视化的血缘关系。

相似案例推荐

其他人才的相似案例推荐

  • 客⼾管理程序替换

    客⼾管理程序替换

    1.与相关⼈员沟通,了解各个表之间的关联以及数据的含义 2

  • 机构板块重构

    机构板块重构

    1、数据导⼊导出: (1)通过 DataX将机构数据导⼊到

  • 数据接口开发

    数据接口开发

    ● 研究和攻克项目中的技术难点: (1)实现pytho

  • 数据报表开发

    数据报表开发

    项目介绍:一个生产智能执行制造系统 项目技术:SQL SER

  • 企业订单管理

    企业订单管理

    对客户的订单进行管理,模糊搜索,添加订单,编辑订单,以及删除

  • 一体化/云TT

    一体化/云TT

    平台集成多个政府部门及其单位(住建/资规/银行/经纪机构/担

  • 文本清洗

    文本清洗

    C, C++, SQL, Python, Java, Dat

  • 拉钩网数据采集

    拉钩网数据采集

    这是个人完成的一个基于拉勾网的数据采集任务,本次任务涉及从网

  • 智慧工厂

    智慧工厂

    作品是基于工厂做的智能化管理系统,对工厂的安全进行管理。

  • 未来社区

    未来社区

    未来社区 整个大屏可视化前端部分是由我一个人完成

  • XX大数据平台

    XX大数据平台

    核心业务:以用户为中心的大数据分析平台,用数据驱动业务决策与

  • 爆破工程管理平台

    爆破工程管理平台

    该项目使用vue+elementui进行前端开发,爆破施工流

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服