1、电能调度实时海量数据处理平台:
系统管理:用户权限、电厂数据(库、字典、导入方式、参数设置等);
基础资料管理:风电场、光伏电厂的基础资料及时序数据。
数据统计与应用:根据筛选条件显示电场,包括风电场/光伏电站、调度侧/场站侧、所属网省、地区、业主、并网时间、数据长度、数据时间 ;查询。
用HBase作为数据仓库,并自定义二级索引,提高检索速率至毫秒;
数据可视化:将部分数据写入到ElasticSearch,并用kibana以图表形式展示 ;
对预测需求 对收集到的时间序列数据做预测,并使其满足90%的置信区间。
2、利得金融利得宝(+微信支付+服务号)分布式系统开发:
重点在消息中间件与redis的配置、开发;搭建kafka集群,根据业务增量进行分区扩展,实现发布订阅、异步请求存储、实时并发写入等功能;同时完成系统中主要接口功能的开发:支付、查询、调用等;跟进测试系统性能做评估,对高可用性进行了探讨,主要包括单点问题的解决和Redis节点的自动主备切换。
3、对接银行清算及交易系统实时对账分析平台:
根据利得销售端如(利得宝APP、O2O网关、私募坊账户中心)交易接入,作为负载均衡数据中台总控转发给银行交易系统完成资金池管理、划账、对账等功能。并接收实时交易行为数据以消息队列方式接入storm集群消费完成数据分析与实时计算,具体包括利息、市价、募集资金、涨跌幅等。
4、语音识别智能问答系统:
主要完成自然语言处理标注、分词模块。搭建spark分布式计算平台,通过sparktream实时流计算导入聊天语料存储,运用条件随机场算法训练样本,完成模型学习。