返回全部动态
llama.cpp b11647：Vulkan 优化 AMD f16 KV 缓存复制
原标题：b11647
AI 摘要
llama.cpp 发布 b11647 版本，主要针对 Vulkan 后端优化 AMD 平台上的 f16 KV 缓存处理：通过一次性将跨步 f16 KV 数据复制到暂存区，使读取分散到多个内存通道，并复用通用 copy shader 替代专用 shader，同时将优化扩展到 bf16，但在 RDNA4 上禁用。该改动由 Ruben Ortlam 提交，Claude 辅助完成，旨在提升 AMD GPU 上的推理内存访问效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> vulkan : copy strided f16 KV once on AMD so reads spread across memory channels (#27703) * vulkan : copy strided f16 KV once so reads spread across memory channels Assisted-by: Claude (Opus 4.8 / Opus 5) * tests : cover the f16 KV copy to scratch Assisted-by: Claude (Opus 4.8 / Opus 5) * vulkan : gate the f16 KV scratch copy to AMD Assisted-by: Claude (Opus 4.8 / Opus 5) * vulkan : reuse the generic copy shader for the f16 KV scratch fill The f16 clause needs only a strid
发布时间：2026-10-15 20:21
抓取时间：2026-10-15 20:44
来源机构：ggml-org