Interesting video /小程序/app端
此项目是模仿抖音的一款短视频应用,
项目架构采用 spring boot + cloud 做分布式开发
我所负责的服务是 用户服务、大数据处理服务、搜索服务

在用户服务方面,使用了spring security做安全框架,涉及的功能有扫码登录、第三方登录、面对面扫码、实名审核、等其他CURD操作。

在大数据处理服务这块,使用了flume做日志采集,在通过kafka消息队列输送到spark streaming进行数据处理,主要是收集用户的ip地址,浏览视频的时长、类型、消耗的流量、用户的活跃时段、通过分析算法, 获取有用的数据进行视频推荐,等等。

搜索服务,这块使用了elasticsearch 做搜索引擎,对用户的搜索关键词做个性化搜索推荐,以及将数据传输到kafka- > spark steaming 做实时热搜榜。