dmp用户画像

企业服务数据服务案例ID：209563

中一

7 年经验· 小泰科技有限公司

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

项目背景：
DMP数据管理平台是一个集数据格式化、存储、分析、查询于一体的大数据基础服务平台。现承接公司大部分数据，在对数据进行处理分析后可以以相对统一的接口对上层业务提供数据支撑，在安全上配置了数据脱敏与隔离，可以配置不同租户访问的领域/表，根据不同业务场景做对应的脱敏处理。并且对来源数据进行多维度分析进行风控和用户行为采集从而起到提高商品质量，增强客户黏性的项目。包括了数据采集接口、数据网关、数据计算、数据存储、数据查询、平台管理模块。
项目技术：Hadoop、Spark、kafka、Redis、Hbase、Phoenix、MongoDB
责任描述：
完成用户租户录入、元数据统计、数据脱敏等模块功能开发，最终处理数据进行接口输出
处理hbase数据导入导出相关功能
调研编写sparkstream流式处理对平台pv，uv，转换率，停留时间进行统计
根据维表事实表，调研并搭建数据仓库，编写日常hivesql分析数据
调研解决基于hdp平台对多租户进行数据kerberos隔离及hbase的acl隔离实现
对接运营团队建立用户画像