瑛麒动漫大数据平台（瑛麒动漫）

电子商务 B2C 案例ID：209264

曹海瑞

14 年经验· 上海携程技术有限公司

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

1.大数据一期主要包含用户活跃、app启动、活跃用户留存、注册用户留存、用户新增和整体趋势的时、周、月报
2.大数据二期主要包含使用时长、频率、间隔、访问页面、元素点击和终端数据，同时对接友盟api把活跃、启动、留存相关数据导入到我们大数据系统里面作数据对比和校正。
3.大数据三期主要包含充值、消费、vip、活动、cp、作品和章节相关bi统计、用户行为相关bi统计

项目职责:
1.负责项目整体架构设计和技术选型
2.负责项目的高可用、扩展性和背压处理
3.项目的线上体量预估和硬件资源需求规划
4.核心代码开发
项目业绩:
1.用cdh搭建大数据平台，客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。ozzie触发定时job，基于hive on spark将rds的数据经过加工生成周期快照表，存储在hive的外部表phoenix中。
2.应用框架为ssm,客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。定时job使用spark sql读取hive表数据生成dataframe,将快照数据存储于hbase供bi使用
3.通过ozzie定时调度sqoop将业务数据从db抽取到hive里面，借助hive on spark和kafka、flink实时引擎将数据存储于hbase，用于生成bi报表用户
4. 实时在线统计，采用spark streaming流式框架、redis set数据结构分区域统计每分钟用户在线人数