一、江西省可再生能源大数据
数据处理主要分为以下四种操作方式:
1、 设备数据采集:设备数据由集控中心统一上传数据到消息中间件kafka集群。
2、 数据清洗:storm作为kafka消息消费者,实时流式处理采集的设备数据,对数据进行清洗操作。
3、 数据存储:清洗后的数据,统一存储到hbase及elasticsearch数据仓库中,为数据分析做准备。
4、数据分析:通过spark基于内存的计算方式,统计各设备、各场站日、月、年发电量情况、运行时长、发电率、最大风速、光照辐照等指标项计算任务,并将计算结果存储到关系型数据库。
二、大数据民航(空中管制)系统
完成storm与kafka对实时雷达数据流处理的集群整合。应用storm流式处理技术,成功处理在高流量、高并发数据流业务系统的高可用性。
空管多种雷达数据,由Kafka集群作为数据源,经storm进行接收及数据处理后,最后存储到hbase对应数据表及elasticsearch数据表中。
三、专业住房保障系统