个人围绕大模型推理服务中长上下文 Prefill 开销高、KVCache 跨请求复用效率不足以及分布式缓存检索调度成本较高等问题，设计并实现 CachePilot。该项目基于 Mooncake 分布式 KVCache Store 构建，是一套非侵入式、可复现的 KVCache 性能评测与调度策略验证平台，无需修改 Mooncake 核心源码即可完成存储性能测试、Prefix Cache 复用收益分析和检索调度策略对比。
项目封装 Mooncake 官方 store_kv_bench.py，打通 mooncake_master、HTTP Metadata Server、MooncakeDistributedStore 与评测脚本之间的真实调用链路，支持 verify_write、read_perf 等测试场景，并自动采集请求吞吐量、KV 操作吞吐、有效带宽、P50/P95/P99 延迟、缓存未命中和数据校验失败等指标。针对 Prefix KV 复用场景，建立 Prefix 长度、缓存命中率、Store 拉取延迟与 TTFT 收益之间的参数化评估模型；针对分布式检索场景，实现 Random、Nearest、Reuse-aware 与 CachePilot 四类调度策略，综合考虑缓存块重要性、历史复用频率、节点拉取延迟、负载惩罚和本地命中奖励，实现副本选择与热点负载控制。
项目在 Ubuntu 22.04、RTX 4090 24GB 环境下完成真实 Mooncake Store 实机测试，16组 read_perf 测试均正常运行，写入校验无未命中、无校验失败；在1MB数据块、batch size为4的测试配置下，有效带宽达到约 1399.08 MiB/s。同时构建了统一的 CSV、日志和图表输出管线，并使用 Streamlit 开发可视化 Dashboard，实现实验参数管理、带宽与尾延迟分析、Prefix Cache收益展示及调度策略对比，提升了系统的可复现性和工程展示能力。
项目已向 Mooncake 官方仓库提交 PR #2844，将 CachePilot 以独立 Benchmark Extension 的形式接入其评测体系；项目获得 CCF开源创新大赛国家级三等奖，奖金 2500元，体现了作品在大模型推理基础设施、KVCache评测和开源工程实践方面的技术价值。