面向智能体的缓存工程：AKV 直接管理 KV 缓存

AI 摘要

该论文提出「缓存工程」（cache engineering）新方案，让 LLM 智能体直接管理自身的 KV 缓存，通过 drop 和 repos 操作在不修改轨迹、不重新预填充的前提下控制活跃缓存增长。作者指出相同 token 序列在不同缓存操作序列下会产生不同缓存状态，因此共同设计了 AKV 服务引擎，提供无状态接口并内部管理有状态缓存复用、驱逐与恢复。实验显示，工具响应滚动丢弃策略相比传统阈值触发摘要平均基准分数提升 1.7 分、平均成本降低 27.7%，输出吞吐最高提升 1.2 倍，P95 延迟加速 1.5 倍，递归自我改进缓存策略再降成本 7.1%。

正文节选

Cache Engineering for Agents Abstract AKV introduces cache engineering to manage LLM agent key-value caches without altering trajectories, improving efficiency and accuracy via drop and repos operations with a co-designed serving engine. Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's m

发布时间：—

抓取时间：2026-10-22 10:08

来源机构：Hugging Face