M同学

评论系统高并发重构 | 技术负责人 2015.04 - 2015.07
技术栈：Spring Boot、ShardingSphere、Redis Cluster、Kafka、DFA算法
项目背景：原系统单表数据量达2000万，关联查询耗时5秒+，CPU峰值负载100%。
核心工作：
按主题ID哈希分片（20表），通过影子表实现灰度迁移，查询响应时间从5s→50ms。
冷热数据分离，归档3年前评论至Elasticsearch，存储成本降低35%。
本地缓存（Caffeine）+ Redis Cluster，布隆过滤器减少穿透，缓存命中率90%。
Kafka承接瞬时万级QPS，批量合并写入+最终一致性补偿，吞吐量提升20%。
自研DFA算法+第三方接口多级过滤，违规内容拦截率98%。
业务价值：
评论提交成功率从85%→99.9%，页面加载时间缩短70%，用户投诉率15%→1%。
沉淀为通用中台能力，复用于3条业务线，支撑日均评论量50万+。
搜索系统升级项目 | 技术负责人 2016.01 - 2016.03
技术栈：Elasticsearch、IKAnalyzer、Spring Boot、Filebeat、Kafka、自定义插件开发
项目背景：原系统基于MySQL模糊查询，平均响应时间3秒+，无分词检索，系统可用性低。
核心工作：
搭建Elasticsearch集群，按业务维度分片，冷数据归档至OSS，存储成本↓40%。
基于Filebeat+Kafka 实现数据实时同步（延迟<500ms），保障搜索准实时性。
自研权重排序模型，确保数据匹配度和时效性最佳平衡。
集成TextProcessor文本清洗插件，过滤20+类噪声数据，搜索命中率提升30%。
设计跨机房容灾方案，系统可用性达99.99%。
业务价值：
搜索响应时间 3.2s→200ms，用户日均搜索次数↑200%。
抽象通用搜索组件，支持日志/文章/评论多场景复用。