【作品介绍】
喀斯玛中台管理系统是一个企业级数据中台项目,旨在集成企业内外部数据资源,通过数据治理、数据集成、数据服务等技术手段,实现数据的统一管理、高效利用和价值挖掘。系统核心模块包括销售订单统计、交易量统计、第三方数据同步、定时任务管理、异常监控等。
【技术栈】
SpringBoot + SpringCloud + Redis + MongoDB + MySQL + RocketMQ
【本人负责内容】
1. 第三方接口鉴权:为对外接口增加鉴权功能,使用RSA非对称加密算法生成企业签名,根据签名获取Token,调用接口时进行Token验证,保障接口安全。
2. 异步导出组件:中台统计需要导出大量数据,同步导出等待时间过长。使用RocketMQ实现异步导出消息队列,创建公用组件使用反射调用方法进行数据导出,解决页面等待超时问题。
3. 二级缓存优化:商品和分类等公用查询对Redis和数据库压力较大。在方法级缓存基础上增加CacheBuilder容器级缓存,设置容量和过期策略,有效提升接口响应速度。
4. 千万级数据同步优化:每日将增量数据同步给第三方,原方案更新千万级数据表需要1个多小时。通过优化查询逻辑避免直接修改大表数据,将同步时间缩短至分钟级。
5. 查询统计优化:统计商品近90天价格走势时,数千万数据量导致访问超时。通过定时任务预处理中间表、添加索引、缓存查询,将响应时间从15秒优化至50ms。
6. Redis限时缓存:凌晨数据同步任务与大屏展示统计冲突。凌晨1-5点使用Redis缓存,错开同步任务执行时间,根据参数拼接缓存Key,设置5小时过期时间。