1.短视频项目
提供包括IOS/Android/H5 3端接口已实现短视频播放、上传、统计等功能。
该项目由Spring Cloud实现,包含统一网关、业务服务、服务监控、日志汇总统计、业务服务跟踪、消息流分发、数据存储、数据上报、数据清洗、数据统计、反欺诈等功能模块。
详细描述:
接口层通过统一网关分发到不同的微服务,实现简单的增删改查以及复杂的业务操作,业务层数据存储主要有缓存(redis)/数据落地(MySql/ElasticSearch)。短视频是由爬虫爬到后存放到CDN中。项目中的信息交换主要由RabbitMq实现。
数据上报是由统一接口接收到上报数据后通过kafka传递,后端服务接收到kafka信息后保存到hdfs文件中。通过spark数据清洗到Hive中作为统计数据和HBase中作为后续项目基础数据使用。