联想IUOP(Intelligent User Operation Platform)是一个基于离线数仓的用户行为分析平台,旨在整合全球用户数据,构建360°用户画像,支撑精准营销、用户分群和个性化推荐。
我的核心贡献:
数据架构设计:
采用 ODS→DWD→DWS→ADS 分层架构,基于 Kimball维度建模 设计用户行为、设备、交易等核心主题域,确保数据一致性。
引入 Hudi 实现增量更新,提升用户标签的实时性,减少全量计算资源消耗。
ETL优化与性能调优:
使用 Spark SQL + Hive 处理日均 TB级 用户行为日志,优化 JOIN倾斜(如采用 Skew Join + Broadcast优化),使任务执行效率提升 40%+。
设计 动态分区+ZSTD压缩 策略,降低存储成本 30%。
数据服务与应用:
基于 Presto 构建即席查询服务,支持业务团队自助分析用户行为路径。
开发 RFM用户分群模型,结合 A/B测试 优化营销策略,提升转化率 15%。