行为数据采集分析

文化娱乐 旅游 案例ID:139016
vx
6 年经验· 携程
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

用户行为数据流的采集聚合,以会话(session)为单位记录一个用户一段时间内的操作。用户操作囊括了页面流量,点击,风控服务。横跨pc,app,h5各平台。目前系统单数据处理耗时<1ms,单机tps可达8000,集群日处理量百亿级。   项目采用流水线式并发模型,内部工作者采用事件驱动模型处理数据。采用堆外内存(自研堆外内存管理)+mongodb+hbase三级存储模式。kafka消息中间件hermes进行数据消费和生产。设计字典可追加式压缩算法使数据压缩比达1:30

行为数据采集分析

文化娱乐 · 旅游 案例ID:139016
联系该工程师
微信扫码,建群沟通
作者: vx - 6年经验- 携程

案例介绍

用户行为数据流的采集聚合,以会话(session)为单位记录一个用户一段时间内的操作。用户操作囊括了页面流量,点击,风控服务。横跨pc,app,h5各平台。目前系统单数据处理耗时<1ms,单机tps可达8000,集群日处理量百亿级。   项目采用流水线式并发模型,内部工作者采用事件驱动模型处理数据。采用堆外内存(自研堆外内存管理)+mongodb+hbase三级存储模式。kafka消息中间件hermes进行数据消费和生产。设计字典可追加式压缩算法使数据压缩比达1:30

相似案例推荐

  • 企业站

    企业站

    利用css特效去做出了鼠标滑动的效果,比如none和bloc

  • 企业站

    企业站

    利用css特效去做出了鼠标滑动的效果,比如none和bloc

  • SARS系统

    SARS系统

    商户在sars后台定制公众号界面,用户可在微信上查看旅游线路

  • 重构开发去哪儿网app

    重构开发去哪儿网app

    vue + axiso发送ajax请求 + vuex重构开发

  • 多趣旅行

    多趣旅行

    1、网址:http://www.duoqutour.com/

  • 遍布全象山

    遍布全象山

    该项目是针对宁波象山人群的微信小程序购物平台,已经运营该平台

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×