华为英伟达推KV Cache外置存储，专用SSD规格仍未统一
原标题：华为已为KV Cache单独做存储，专用SSD规格却还没定下来
AI 摘要
华为在全联接大会上推出OceanStor M900，英伟达也推出CMX Context Memory Storage，两者都将推理过程中的KV Cache进行分层管理和外置存储，以"以存换算"降低重复计算开销。业内认为KV Cache外置的核心是在算力成本与存储成本间找平衡，但面向KV Cache负载优化的SSD尚未形成标准化产品，规格（容量、耐久度、性能）因数据生命周期差异难以统一。存储厂商预计行业形成较统一产品共识还需6至12个月，后续开发验证再约1年。
正文节选
这已经成为行业内越来越明确的共识。近日，华为全联接大会上推出了华为OceanStor M900，英伟达也已经推出了CMX Context Memory Storage。这类AI记忆存储产品，会将推理过程中已经产生、可能再次复用的KV Cache进行分层管理和存储，在后续请求命中时减少相应的重复计算，这将直接节省有关算力开销。有业者明确表示，即使缓存的命中率越来越高，继续从90%向95%提升依然很有价值。但是，对于存储价格“比金子还贵”的当下，单独存储一些可能复用的推理缓存，究竟是一笔什么样的账单？“KV Cache外置的核心逻辑就是‘以存换算’。”长期研究存储的学者章衡告诉雷峰网。以存换算，本质上是在计算成本和存储成本之间找一个平衡点。已经算过的历史KV，是直接丢掉、下次重新计算，还是保存下来，在后续请求命中时直接复用？现在行业给出的答案，显然是后者。章衡举例，假设KV Cache命中率从90%提高到95%，需要重新计算的部分就会从10%降到5%。“相当于重新计算的那部分算力开销减少了一半。”章衡说。但命中率继续提高，也意味着需要保存更多历史KV。尤其到了高命中率区间，为了再覆盖最后几