某厅局基于大数据存储与分析的海量流量分析系统研发
系统采用基于MySQL的数据库+HDFS+Elasticsearch组合架构方式实现海量数据的分存储、检索、分析;
流量采集端使用DPDK实现,以满足万兆流量或更大流量
系统采用分布式架构实现,对于系统控制与调度信息通过MySQL数据库同步实现,各个客户端通过不同设置具体实现具体业务;在客户端机器比较多的情况下,为简化客户端不同功能同一部署,客户端采用集成所有功能、通过不同配置实现不同业务功能;
为满足海量数据的存储写入,对HDFS写入做了针对性的优化,采用直接创建HFile文件然后导入HDFS创建表;此种方式,相比较一般的数据批量写入方式,可节省大量时间,提高写入效率;
Elasticsearch内存优化以及操作系统相关对应参数优化;