数据中台数据采集

企业服务-数据服务 薯饼🍪

项目一:数据治理系统(数据中台) 开发环境: Ranger(数据安全)+Atlas(元数据管理)+SparkSQL/Griffin(数据质量)+CKAN(数据资产) +MetaData(数据共享+指标体系)+数据 API 化 项目描述: 基于原有的离线数仓升级到数据中台,在数据仓库的原有基础上,将数据标准进行量化,通过数据安 全管理、元数据管理、数据质量监控以及数据资产管理,实现数据治理模块。 责任描述: 1. 负责数据治理设计框架的调研、架构设计、搭建以及维护 2. 负责数据标准把控,数据检验流程规范设计和数据质量脚本落地 责任描述: 1. 使用 Ranger 过滤敏...

数据中台数据采集
数据中台数据采集

数据中台离线数仓

电子商务-团购 薯饼🍪

线系统(数据中台) 开发环境: HDFS + Hive + Spark + Impala + Sqoop + Azkaban + MySQL 项目描述: 搭建数仓架构,实现原始数据隔离,建设离线宽表,简化开发指标,减少重复开发,提升数据使用效 率,实现可视化展示。离线数仓虽然为日批次计算,但是能够为管理人员提供数据支撑。 责任描述: 1. 调研数仓架构,参与数仓的建模与搭建; 2. 负责框架的优化,脚本的维护; 3. 参与指标分析:日活、周活、月活、每日新增、一日留存率、沉默用户数、本周回流用户 数、流失用户数;SKU 数、SPU 数、商品销量排名、商品收藏排名、商品加购...

数据中台离线数仓
数据中台离线数仓
------ 加载完毕 ------
联系聘用方端客服