项目名称:智能运营
开发环境:JDK1.8、Git、Maven、Oracle
技术选型:springboot、mybatis、jQuery、Vue.js、kafka 、docker
项目周期:7 个月
项目描述 : 采用分布式部署,对所有实时大屏监控和用户对网页的访问行为,进行分析和统计。实现业务如访问顺序、访问量、关注点、VIP用户。能够在页面离线分析和实时大屏监控。
责任描述 : 1、与项目经理讨论解决方案设计,沟通,方案验证,整理业务接口文档;
2、获取前端对页面埋码数据,推送生产数据推送到kafka,进行程序开发:
a数据清洗:消费埋码推送数据,进行数据清洗为标准格式。以用户进行分类,创建生产者推送到kafka对应topic进行部署;
b数据实时处理:对分类用户的数据使用spark-Streaming进行RDD算子业务运算,实时结果到页面动态刷新;
c数据离线处理:对清洗数据异步储存到库,做页面离线接口展现和分析等等;
技术描述 : 1、springboot集成kafka 的数据消费和创建生产;
2、kafka实时数据spark-Streaming的计算;