瑛麒动漫大数据平台（瑛麒动漫）

猿急送>上海兼职程序员>曹海瑞>

案例列表

基本信息

案例ID：209264

技术顾问：曹海瑞 - 14年经验 - 上海携程技术有限公司

联系沟通

微信扫码，建群沟通

项目名称：瑛麒动漫大数据平台（瑛麒动漫）

所属行业：电子商务 - B2C

->查看更多案例

案例介绍

1.大数据一期主要包含用户活跃、app启动、活跃用户留存、注册用户留存、用户新增和整体趋势的时、周、月报
2.大数据二期主要包含使用时长、频率、间隔、访问页面、元素点击和终端数据，同时对接友盟api把活跃、启动、留存相关数据导入到我们大数据系统里面作数据对比和校正。
3.大数据三期主要包含充值、消费、vip、活动、cp、作品和章节相关bi统计、用户行为相关bi统计

项目职责:
1.负责项目整体架构设计和技术选型
2.负责项目的高可用、扩展性和背压处理
3.项目的线上体量预估和硬件资源需求规划
4.核心代码开发
项目业绩:
1.用cdh搭建大数据平台，客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。ozzie触发定时job，基于hive on spark将rds的数据经过加工生成周期快照表，存储在hive的外部表phoenix中。
2.应用框架为ssm,客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。定时job使用spark sql读取hive表数据生成dataframe,将快照数据存储于hbase供bi使用
3.通过ozzie定时调度sqoop将业务数据从db抽取到hive里面，借助hive on spark和kafka、flink实时引擎将数据存储于hbase，用于生成bi报表用户
4. 实时在线统计，采用spark streaming流式框架、redis set数据结构分区域统计每分钟用户在线人数