项目一:电商平台秒杀系统重构与优化
项目背景:公司电商平台原有秒杀系统在618、双11大促期间频繁出现服务超时、库存超卖、页面卡顿等问题,峰值请求QPS超过5万+,系统可用性仅为99.2%。
技术方案:采用Spring Cloud Alibaba + RocketMQ + Redis Cluster构建分布式秒杀架构。核心设计包括:
多级缓存策略:通过Caffeine本地缓存 + Redis分布式缓存,将商品信息、库存数据预热至内存,将核心接口RT从800ms降至80ms,QPS提升至12万+。
流量削峰填谷:利用RocketMQ消息队列,将下单请求异步化处理,通过令牌桶限流和排队机制将峰值流量平滑至下游系统,TPS从1500提升至1.2万,确保订单服务不被打垮。
库存扣减方案:基于Redis Lua脚本实现原子性库存扣减,配合数据库乐观锁作为最终一致性兜底,从根本上解决了超卖问题。大促期间超卖率为0。
全链路压测与监控:使用JMeter进行分布式压测,结合SkyWalking + Prometheus + Grafana搭建全链路可观测性体系,慢接口、慢SQL可实时告警,大促期间问题平均发现时间从30分钟缩短至3分钟。
项目成果:重构后系统支撑了2025年双11峰值800万次/秒的请求洪峰,系统可用性提升至99.99%(全年故障时间<5分钟),日均处理订单500万+,项目获得了公司年度技术创新奖。
项目二:实时用户行为分析平台(Flink + Kafka + ClickHouse)
项目背景:公司需要实时分析App端用户行为日志(点击、浏览、停留、转化),以支持运营侧的秒级策略调整。原有基于Hive的离线批处理方案延迟高达2小时+,无法满足实时需求。
技术方案:
数据采集层:通过埋点SDK采集用户行为,经Kafka(Topic分区数=32)接入,日均处理日志量20亿+条,峰值吞吐量150万条/秒。
实时计算层:基于Flink 1.18构建实时ETL流程,使用窗口函数(Sliding Window)实现5分钟粒度的PV/UV、转化率、留存率等核心指标计算,通过状态后端(RocksDB) 管理大状态,保障Exactly-Once语义。
存储层:计算结果实时写入ClickHouse集群(3分片*2副本),利用其Vectorized Execution引擎,实现百亿级数据的即席查询响应时间控制在500ms以内。
C#辅助工具:基于ASP.NET Core + SignalR构建实时数据大屏展示端,通过WebSocket推送秒级数据至运营后台,支撑10万+并发WebSocket连接。
项目成果:平台上线后,数据分析延迟从2小时+ 降低至实时(<5秒),运营策略响应效率提升20倍,直接支撑了3次大促活动中的实时调价与流量调配决策,为公司带来千万级GMV增量。