视频网综合安全审计系统后端开发
内客:项目描述:是一个海量的日志综合采集系统,通过对视频网类各类型的日志采集,对数据做统计分析,建立分析模型,对不同类型的数据生产对应的分析画像。
本系统主要分三个模块,以flume为架构的日惠采集模块,以springBoot为架构的日志分析模,以flink为架构的模型分析模块。
技术找: react,flume,kakfa,Elasticsearch, flink,mysql, redis。
项目职责:主要负责:1.日志采集模块,与各厂商协调日志内容,将不同的数据源通过fume存入到ELasticsearch 2再后端平台上通过Elastisearch对日志数据做实时分析形成各类型的西像。
3项目在linux服务器上的安装和都署