58 同城宝实时数仓 2.0

生活消费 房产家居 案例ID:184972
Not enough $
4 年经验· 中信建投
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

数据接入 ios/android/pc/h5 -> 日志服务器 -> Flume/logstash->
ODS 层(原始数据层) 出价/获胜/曝光/点击、adx 检索/点击、前端点击、精准扣费、黄金展位
实时 ETL 计算 Flink interval join 按业务主题进行流的 join, Redis 进行维度数据的缓存->
DWD 层(明细数据层) dsp-dwd 数据源 adx-dwd 数据源 落地页-dwd 数据源 其他多维明细数据
DWS 层(汇总数据层):根据业务需求,按照一个或者多个维度,选择一定粒度对 DWD 层明细数据进行汇
总计算,写入下游 Kafka 中存储。
APP 层:APP 层的数据来自 DWD(明细数据层)和 DWS(汇总数据层),可用于实时多维分析、实时大
盘等(Clickhouse,Hbase,Redis)

58 同城宝实时数仓 2.0

生活消费 · 房产家居 案例ID:184972
联系该工程师
微信扫码,建群沟通
作者: Not enough $ - 4年经验- 中信建投

案例介绍

数据接入 ios/android/pc/h5 -> 日志服务器 -> Flume/logstash->
ODS 层(原始数据层) 出价/获胜/曝光/点击、adx 检索/点击、前端点击、精准扣费、黄金展位
实时 ETL 计算 Flink interval join 按业务主题进行流的 join, Redis 进行维度数据的缓存->
DWD 层(明细数据层) dsp-dwd 数据源 adx-dwd 数据源 落地页-dwd 数据源 其他多维明细数据
DWS 层(汇总数据层):根据业务需求,按照一个或者多个维度,选择一定粒度对 DWD 层明细数据进行汇
总计算,写入下游 Kafka 中存储。
APP 层:APP 层的数据来自 DWD(明细数据层)和 DWS(汇总数据层),可用于实时多维分析、实时大
盘等(Clickhouse,Hbase,Redis)

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例 联系该工程师
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×