基本信息

案例ID:183272

技术顾问:梁锦泉 - 1年经验 - 三头六臂

联系沟通

微信扫码,建群沟通

项目名称:离线电商数仓

所属行业:电子商务 - B2C

->查看更多案例

案例介绍

离线电商数仓项目
项目介绍:
采集电商网站的用户行为日志和业务数据进行数仓建模和统计分析。该项目采集网站产生的日志数(页面日志、事件日志、曝光日志、启动日志)和业务数据进行维度建模、数仓分层建设,分为多个主题如:用户主题、品牌主题、地区主题等,来实现对于网站的更深层次的优化。
主要技术:Hadoop + Hive + Flume + Sqoop + Azkaban + MySQL+ Superset
任务描述:
1.使用日志采集框架 Flume 和 Sqoop 分别采集日志数据和同步业务数据到 HDFS;
2.使用 Hive 搭建数据仓库、完成数仓维度建模、数仓分层、分主题建设;
3.分析多类主题的指标,用户主题:新增用户数、新增下单用户数、下单用户数、流失用户数,地区主题:订单总数、订单总金额、下单总人数,商品主题:品牌复购率,活动主题:补贴率;
4.使用 Azkaban 进行工作流调度,编写工作流程配置文件,让 Azkaban 每天定时执行数仓更新任务;
5.使用 BI 分析工具 Superset 生成可视化图表展示数据统计结果。
项目难点:
1.自定义flume拦截器过滤异常数据和解决零点漂移问题;
2.使用拉链表构建用户维度表,解决全量更新效率低下的问题;
3.Hive自定义 UDTF 函数处理用户行为日志数据(json数组格式)。

相似案例推荐

其他人才的相似案例推荐

  • 阿里巴巴社区电商开发设计

    阿里巴巴社区电商开发设计

    阿里社区电商运营任务系统架构设计与核心功能开发。 任务系统

  • 好快保

    好快保

    刚入行业的第一个项目app和pc都有 定位于汽车服务业类似于

  • 详聊时透露

    详聊时透露

    项目在这不变透露,可加好友详细阐述,曾带领团队做项目从0到1

  • 电商平台/大屏数据展示/APP应用

    电商平台/大屏数据展示/APP应用

    上述案列包含电商平台web端开发,大屏可视化数据展示,以及A

  • 万林供应链

    万林供应链

    万林供应链平台-是一款建材交易 采购商,供应商,平台方 我在

  • 漫端

    漫端

    商城功能:包括所有商城应用相关功能; 短视频功能:短视频上

  • 私信

    私信

    一款及时聊天工具。企业用户可以使用该工具向会员发布、撤销活动

  • 123

    123

    123123123123123123123123123123

  • 餐修小程序

    餐修小程序

    后端采用Spring boot +redis+mysql+消

  • 享道出行用户版

    享道出行用户版

    享道出行是上汽集团投资的一家专注于出行服务的专业品牌,是上汽

  • 享道出行用户版

    享道出行用户版

    享道出行充分利用全产业链竞争优势,从消费者对安全及品质的需求

  • 叮当快药

    叮当快药

    叮当快药APP 主要功能: 首页:药品分类、医生问诊、直播

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服