广州移动日志大数据分析系统
该项目应用了开源的ElasticSearch分布式全文搜索引擎,通过flume进行数据采集,使用Echarts和二次开发的kibana进行数据可视化展示,可对大量数据进行实时检索,并以友好的图形界面展示结果。
在该项目中我负责ElasticSearch集群的搭建维护及前后端代码的具体实现。
ETL数据平台
该项目参照了开源的ETL工具Kettle,利用Kettle提供的api实现了B/S结构的ETL平台。平台可在图形化界面上通过鼠标拖拽设计ETL工作流,并提对任务的计划调度与过程结果监控。
在该项目中我负责设计搭建框架及前后端代码的具体实现。