项目一:智能推荐系统实时化改造
项目背景
负责某短视频平台推荐系统的实时化升级,服务日活用户3亿+,每日推荐请求量超千亿次。原有T+1批处理架构无法满足用户行为实时反馈需求,个性化推荐效果受限。
核心架构
采用C++开发高性能特征服务,结合Python构建实时模型训练管线。搭建Lambda架构融合批流计算:离线层使用Spark进行全量特征计算,实时层采用Flink处理用户行为流,Serving层基于Redis + HBase实现百亿级特征秒级查询。
技术亮点
自研特征平台,支持万级特征在线实时计算,P99延迟控制在10ms内,特征覆盖率提升至95%
设计增量模型更新机制,基于Parameter Server实现分钟级模型热更新,消除冷启动问题
优化推荐服务资源调度,通过C++底层优化+多级缓存预加载,单机QPS从8K提升至5W
业务成果
用户人均观看时长提升18%,CTR提升12个百分点,推荐系统整体算力成本下降40%,获评年度技术创新奖。
项目二:统一消息中间件研发与落地
项目背景
针对公司内部消息中间件碎片化问题(Kafka、RabbitMQ、Pulsar多套系统并存),主导自研统一消息平台,服务全公司200+业务线,日均消息吞吐量10万亿条。
核心架构
基于Go语言从零构建分布式消息引擎,采用分层架构设计:存储层基于RocksDB实现高性能持久化,复制层实现多副本强一致协议(Raft),路由层支持智能分区与动态扩缩容。对外提供多语言SDK(C++/Python/Go/Java),兼容Kafka协议实现平滑迁移。
技术亮点
创新性设计零拷贝消息传输链路,结合批量压缩与异步刷盘,单机写入吞吐达500MB/s
实现毫秒级故障检测与主备自动切换,端到端消息可靠性达99.999%
构建智能流控系统,基于令牌桶+动态优先级调度,支持百万级Topic并发写入
业务成果
累计迁移150+核心业务系统,消息延迟降低70%,机器成本节省50%+,获公司技术专利认证,成为基础设施核心组件