1. 数据中台微服务架构、用户中心(单点登录Oauth2.0)
2.物联网、网红、游戏引擎大数据平台
3.推荐系统
sparksql 从 mongodb 同步业务数据至
hdfs;采用 flume 从 nginx 采集日志数据至 kafka;app、h5、设备埋点,后台采集设备操
作数据;最终将数据使用 parquet 方式按日期分区存储至 hdfs 并合并小文件。数据推送推
荐平台后端采用 springboot 实现配置用户画像标签、元数据、推送配置等。用户画像采用
sparksql 从 mongodb 中加载计算后存入 es,用户推送计算判断用户画像是否符合推送条
件,结果存到 hbase。推送、反推送后端采用 grpc 暴露接口给后台调用,推荐系统部分主
要采用 sparkMLib 的协同过滤推荐算法