保全流程设计优化 项目负责人
内容:
对于公司整体业务来说,团险中人员的保全操作,即加人入库操作是整个业务中,对于数据库压力最大的一环,之前的业务简单时
候,不会成为系统的性能瓶颈,后期慢慢的发展,随着业务规模扩大,一次性加人数量的增加,会出现请求超时的情况。
技术栈 : php+mysql+RabbitMQ
1. 梳理目前的加人流程,产出流程图以及时序图,并且分析优化现有流程。
2.将之前的每次加一个人,需同时写入几十条的保险责任的操作,通过 RabbitMQ 异步处理,削峰填谷,大大减小了系统大批量
加人时的压力。
3.优化整体数据入库流程,加人时候只记录必须入库信息,如人员身份证,公司,社保状况等,其余非必要信息,全部使用消息队
列处理。
4.优化 mysql 的写入操作,引入全局唯一雪花 id ,生成虚拟 id ,将所有入库操作集中在最后处理,让 mysql 写入操作的时候
可以顺序写入而非乱序写入,大大提高了数据写入效率。
5.扩大 msyql 中的 buffsize ,在一次性批量写入超大量数据时,可以更加省时。
业绩:
1.之前的一次性只能加5000个人的操作提高到50000
2.同时相同加相同人员的情况下,耗时比之前缩短10-20倍左右。
3.为公司对接大客户提供了技术保障,为公司带来了超千万级别的项目收益
大数据处理 项目负责人
内容:
团险过程中会产生很多需要定时处理的数据,如企业下的在保人员在保状态,人员失效,企业每期保单费用结算,这些数据都具有
时序性,需要定期扫描数据库中的数据,对这些数据进行更新操作。
技术栈:mysql+php+xxljob+MongoDB+php-xlswriter
1. 技术层面上选用 php的 CLI 运行模式,配合任务调度平台 xxLJob ,可以在同一时间并发处理一些耗时的数据,减小系统压力,
提高数据处理效率。
2. 针对于需要提供给业务人员的数据,使用自己编译的 xlswriter 的 Excel ,可以更高效的提取所需的自定义数据格式,同时大大
减小了系统的内存压力,并且采用 zip 压缩文件,利用自定义定时邮件系统,快速的将需要处理的数据,发送到业务人员手中。
3. 针对 mysql 慢查询优化,数据写入流程更新,利用 XHProf 性能分析工具 针对性的对系统中一些运行较慢的任务进行单独分
析优化,全面提高系统运行效率以及 降低 cpu 占用率。
4. 设计统一的的日志存储和错误处理类,可以在关键任务出问题的时候及时的邮件通知,相关的系统维护人员和领导。及时的处
理数据,避免公司财务损失。
业绩:
1. 将整个定时任务系统的整体性能以及效率提高10倍左右
2. 对于某些单个费时长,cpu 内存占用高的,单个任务性能提升有超过 100倍 的提升
3.将任务执行时间重写梳理拆分,合理的利用空闲时间的服务器性能,为公司节约服务器采购成本每年超10w元