新能源预测系统
项目简介：
背景：光伏并网发电容量占比逐年增加，光伏大规模并网造成电压、电流、频率波动，为消除不良影响，需要额外增加旋转备用容量，增加电网运营成本电站如果预测不够准确，则需要支付高额罚款。来自全球的权威初始场气象数据，海量电场设备运行及气象观测数据，超强的计算资源，大规模连续性的模拟仿真，不断修正的气象预测结果，自优化功能为每一场站定制化设计气象和功率预测方案。
项目采用容器微服务，k8s编排，技术保证良好的可扩展性、可靠性
主要负责：
● 实时数据接入，采用kafka下发驱动脚本程序
● 编写实时接收数据处理程序
● 将kafka5分钟数据聚合15分钟数据程序
● 预测数据接入，与气象厂商对接，天气气象数据，接入系统程序
● 定时解析厂商气象文件程序
● 上报模块，根据x省上报规则，模版定义，生成上报数据，调用c接口实现上报
● mongodb数据库初始化创建索引脚本
● 定时下载生产数据生成tar包，导入测试环境数据库，shell脚本
● 搭建harbor私有镜像库，minio对象存储，swagger接口文档
● 采用flask封装储能算法，提供接口服务
● 采用rancher管理容器，docker-compose部署单机服务
● 负责运维所有服务更新迭代、开发、部署、bug解决

数据清洗程序
数据链路简介：
主要由三部分组成
1）上游数据厂商从SCADA系统采集数据然后转发，中建材CPS
2）消息队列，kafka集群，oceanbase集群
3）生产系统
德鲁伊（实时数据采集系统ETL）数据源
版本数据v1（算法、异常值剔除+数据不完整剔除）
版本数据v2 （死值零值处理）
主要负责：
● 版本数据v2的流程建设，代码编写、docker部署
● 创建oceanbase中表初始化脚本
● 采用dataframe 维护预警状态，使用pandas接口操纵dataframe对象
● 将版本v1数据读出写入SQLite进行数据处理预警
● 采用crontab触发程序执行（5分钟）
● 修补某测值丢失脚本进行修补缺失数据
● 编写实时脚本，统计版本数据v2库中null值，生成报告
● 运行数据脚本，检测多进程cpu使用率，合理化使用分配服务器资源
● 日常脚本维护数据，客户需求迭代

AI流量生成器
采用了c+python混编开发模式，并通过线程池并发发包，实现了高性能。包括一个路由器（gateway）和两个交换机（lan和lan2）组成一个典型的局域网。流量生成器（sanic）跑在一个kvm虚拟机里，将sanic虚拟机看做个物理测试仪，sanic有一个管理网口和若干个数据网口。其中管理网口用于远程ssh登录操作，以及与ai决策引擎通信；数据网口用于发送仿真报文。
主要负责：
● 采用sanic框架、Gunicorn网关搭建服务，提供rest接口
● 接收Ai决策引擎实时数据，解析报文
● 使用ThreadPoolExecutor线程池实现高并发，Ctype调用c库完成复杂的负载编辑，pcap报文重放。
● 以桥接的形式，使虚拟机与外界相通
● 利用ovs创建两个虚拟交换机一个路由器及三个网络，为虚拟机搭建网络
● 创建wan虚拟机（广域网）、创建sanic虚拟机（局域网），将代码部署sanic虚拟机
● 搭建vnc服务远程操控虚拟机
● 利用wireshark数据采集