《网关日志处理服务》
项目时间:2018 年 9 月 - 2019 年 1 月
项目简介:车联网网关所有的请求日志需要实时解析进行入库保存,并实时发送给大数据平台进行数据分析。
数据量:每天约 2 亿条日志记录,约 300GB。
主要技术:SpringBoot+ClickHouse+C3P0+Kafka,结合多线程、队列。
为实现对指定目录下的日志文件进行监控并进行读取解析,采用了多线程和阻塞队列的模式。根据待
处理任务的数量动态调整线程数,实现 CPU 资源的充分利用。使用 C3P0 作为数据库连接池,实现连
接的重用,减少连接频繁创建和释放的资源消耗。采用 ClickHouse 作为存储数据库,实测插入性能比
Mysql 快 9~10 倍,当查询亿级别的表时,能做到几秒内返回。Kafka 主要作为与大数据部门进行消息
传递的中间件,达到服务间的解耦效果。