KVLearn：分离式LLM推理中的学习型KV缓存保留
原标题：To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
AI 摘要
加州大学洛杉矶分校与哥伦比亚大学的研究者提出 KVLearn，一个面向分离式（prefill/decode 分池）LLM 推理系统的学习型 KV 缓存保留框架。它由前缀复用预测器（PRP）、成本感知保留评分（CARS）和自适应阈值控制器（ATC）三部分组成，把 keep/evict 决策建模为成本优化问题，综合考虑重算、网络传输与存储开销。在文本和多模态负载上，KVLearn 相比无缓存、LRU-Pool 和 Mooncake 式基线分别将端到端 TTFT 最多降低 56%、38% 和 33%，节点间 KV 传输量最多减少 53%，代码已开源。
正文节选
[Page 1] To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems Dong Liu∗ Yanxuan Yu∗ Eric Jiang University of California, Los Angeles Columbia University University of California, Los Angeles Los Angeles, CA, USA New York, NY, USA Los Angeles, CA, USA pikeliu@g.ucla.edu yy3523@columbia.edu