返回全部动态
llama.cpp b11411 修复 KV 缓存旋转元数据不匹配问题
原标题:b11411
AI 摘要
llama.cpp 发布 b11411 版本,修复了 KV 缓存恢复时旋转元数据不匹配的问题:现在会保存精确的 KV 旋转元数据,并拒绝恢复旋转不匹配的缓存。相关状态旋转测试被移入 test-save-load-state,纳入保存/加载测试矩阵,对所有被测模型运行,并跳过不支持的 KV 缓存类型。该修复由 Georgi Gerganov 等人参与完成。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> kv-cache: fix restoring mismatched KV cache rotation by saving exact rotation metadata (#28498) * kv-cache: save exact KV rotation metadata, reject restoring mismatched rotation * tests : move the state rotation test to test-save-load-state the test is now part of the save/load test matrix and runs against every model under test, like the rest of the suite it probes the KV cache type combinations supported by the model and treats models that do not use attention rotation as p
发布时间:2026-10-05 18:05
抓取时间:2026-10-05 19:01
来源机构:ggml-org