1,项目名称
中国新一代电力市场交易平台
2,涉及技术 Springcloud Alibaba,mybatis,mybatisPlus,redis,mysql,南大,达梦数据库(国产),kafka, c anal,xxl-job,Elk,devops,docker,rancher,ceph,linux。
3,项目描述 类似于淘宝商城。在电力市场改革中出现,由中国电网发起,供每一个省份的发电厂与各级政府,各大工厂等 进行电力交易的商城平台。 每一个省份版本不一样,根据各省的情况对商城进行了本地化。
4,设计思路
(1)采用分布式架构设计,模块划分为订单,商品中台,搜索,日志,诊断,文件,信息披露等多个模块。
(2)高并发请求处理和路由转发由nginx和gateway进行请求转发,apache druid监控热点数据,kafka削峰 。
(3)缓存架构使用redis cluster集群。
(4)数据持久化使用mysql和达梦数据库,采用mycat进行了分库分表,并且搭建了mysql集群。
(5)分布式事务使用基于kafka的最大努力通知型。
(6)消息队列,分布式锁使用redis实现。
(7)搜索模块和日志模块用十一个es搭建了es集群,模块划分为界面管理,查询,添加数据三个子服务。
(8)大文件存储方面使用了ceph集群,mysql数据库中存储文件地址。
(9) 运维方面采用了devops 一键式部署,某一些省份要求必须手动部署在linux环境中。
5,工作内容
(1)诊断系统负责人 完成以下功能的业务设计以及代码实现: 监控其他系统运行状况,主要指jvm内存异常,并发布警告 与其他服务开发人员沟通,完整对接口响应时间,高并发应对状况的测试接口的开发。 监测缓存,mysql,kafka,es等中间件是否正常
(2)信息披露负责人 利用xxl-job实现对大数据量(发电厂的发电状况,订单交易记录)的信息的定时监控。 并且对数据进行数据清理、整理和汇报,最终进行数据可视化,供使用人员通过界面掌握所有信息。 将数据从mysql迁移到国产数据库达梦,使用mycat进行分库、分表。
(3)基础架构支撑 负责redis集群,mysql集群,es集群,kafka集群的维护。 负责与redis,mysql,es等组件相关的调优方案。 负责redis相关的各种业务方案设计,(分布式锁,消息队列,过滤器,计数器,限流等) 负责sql调优与数据库调优 负责搜索服务的架构设计 负责与以上组件相关的业务设计方案的开发文档编写,指导开发人员开发。
(4)架构设计 完成搜索服务的架构设计 设计订单模块每月月初峰值的高并发业务应对方案
(5)运维相关 负责一部分服务的部署与检修,通过rancher的日志与其他信息,分析系统运行状况 或者直接在linux系统中重新部署,测试,查看日志,分析原因,修改bug。