返回全部动态
llama.cpp b12007：KV-cache 旋转常量常驻 GPU
原标题：b12007
AI 摘要
llama.cpp 发布 b12007 版本，核心改动是将 KV-cache 的旋转常量保留在 GPU 上，并支持按层分配旋转缓冲区，同时修复了混合 SWA 旋转输入与混合放置检查的问题。该改动在 mistral-large4 和 dflash 模型上启用按层旋转，并补充了多设备旋转的剩余工作文档。发布同时提供 macOS、Linux、Windows、Android 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> kv-cache : keep rotation constants on the GPU (#31073) * kv-cache : keep rotation constants on the GPU Assisted-by: Codex * tests : verify resident KV rotation buffers Assisted-by: Codex * kv-cache : document remaining multi-device rotation work Assisted-by: Codex * kv-cache : support per-layer rotation buffers Assisted-by: Codex * kv-cache : fix hybrid SWA rotation inputs and mixed placement check Assisted-by: Codex * models : use per-layer rotation in mistral-large4
发布时间：2026-10-30 21:50
抓取时间：2026-10-30 22:23
来源机构：ggml-org