哈萨克斯坦全国app拦截流量及硬件监控系统
系统统计展示哈萨克斯坦全国app应用流量及拦截流量,利用kafka集群及sparkStreaming分布式数据流集群实时获取全国18个省的应用流量数据,平均每天100亿条数据,利用部署在首都努尔苏丹和阿拉木图的clickhouse分布式数据库存储大数据。
功能模块:
1、流量监控,展示不同周期,各个省份及全国app应用流量,拦截流量,利用sparkStreaming集群及kafka集群实时获取并计算存储。
2、攻击监控,使用logstash+nginx实时获取DDoS拦截攻击的日志,解析成格式化数据发送到kafka入库,供用户展示使用。
3、硬件状态监控,利用snmp及多线程定时获取硬件设备状态。
4、硬件故障监听,利用snmpTrap监听设备发来的故障信息,存储到mysql,并最终计算出故障设备。
5、展示页面控制,通过pad发送websocket命令,切换展示不同页面指标。