日志收集系统(基于PHP5.6 +FlumeNg+ Kafka + clickhouse)
所属公司:广东趣炫网络股份有限公司
项目描述:
用FlumeNg监听日志文件,将日志信息写入到日志服的kafka中。PHP负责正则解析需要的日志并且保存到clickhouse。大幅度减少了日志从产生到入库的时间。
责任描述:负责PHP脚本部分的开发。
细节描述:基于PHP原生多进程扩展和master-worker模型,master进程负责监控不同topic的数据情况和子进程调度,子进程负责从kafka中消费数据并且正则解析入库。