华为自动化测试项目,对华为P40系列等手机,鸿蒙系统及智能设备等进行自动化测试,包括功能、性能、稳定性等进行测试。目前系统单表测试用例数据量1.2亿,测试用例历史结果数据量5亿,系统并发量2小时100万+,并发峰值5千左右。
自动化测试项目是测试人员对应用专门测试的系统,测试人员在系统停留时间要远大于传统系统,所以并发量也相对要高很多。
自动化测试项目采用spring cloud微服务架构设计,JWT安全授权认证(单点登录),统一网关(zuul)使用ribbon客户端负载均衡,微服务之间通过feign服务器负载均衡,项目根据业务将系统分成4个微服务(用例管理、设备管理、任务管理、用例度量)。项目共部署几十台服务器,微服务之间实现负载均衡及docker部署,采用k8s自动化运维部署,保障服务节点故障自动重启,时刻保障固定的服务节点正常运行。
性能优化方面:对服务器高并发性能优化,jvm配置调优,redis缓存集群部署,使从单一服务并发量仅支持几十优化到支持上1000的并发量,几十台能支撑近万的并发量。
服务降级削峰根据业务使用Kafka消息中间件调度执行用例任务及熔断技术、异步方法处理对服务降级。数据库CPU告警定位处理,服务器Full GC导致服务卡死问题处理,高并发下服务线程不足导致服务卡死问题处理。sql毫秒级查询优化,数据库防页分裂设计,降存储设计,碎片数据清理。
分布式事务处理,高并发下多个数据源、多个微服务保障数据一致性。 海量数据处理使用sharding-jdbc中间件对mysql数据库按产品分库按数据量分表,目前已分20个库,单表最大已分5张物理表,还配置了一主一从,单张物理表数据量存储控制在500万以下,对单表二次分表实现数据平滑迁移,解决sharding-jdbc源码路由错误的问题。
大数据方面:用户操作记录、用例修改历史版本记录使用HBase、elasticsearch数据存储,Flink查询统计一天用户访问量、访问最多Uri。Hadoop, zookeeper, HBase, elasticsearch集群部署,flume+elasticsearch+kibana日志收集。
设计模式应用:策略模式-实现用例按编号、名称排序等的比较器;组合模式-用例树组装;单列模式-自定义线程池,节省资源;责任链模式-对用例修改的字段做脚本字符过滤、非法字符过滤,表情符过滤。 代理模式-对所有批量插入数量限制,防FullGC。
精通DevOps自动化部署,精通jenkins从gitlab仓库拉取代码,代码质量检测,制作docker镜像推送harbor私有仓库,通知目标服务器从私有仓库拉取docker镜像启动部署完整流程。k8s集群环境自动化部署,pod自动伸缩,节点监控。用shell对自动化部署优化,解决过部署时应用程序无法启动的问题及程序环境变量动态配置的问题。