返回全部动态

llama.cpp b10517 发布:Vulkan 后端优化与多平台支持

原标题:b10517

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10517 版本,主要针对 Vulkan 后端进行优化,包括在 coopmat1 中一次性反量化 q8_0 KV 缓存,并改进了 Flash Attention 路径的容错与布局检查。该版本还提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan : dequant q8_0 KV once in coopmat1 (#25494) * vulkan : dequant q8_0 KV once in coopmat1 Assisted-by: Claude (Opus 4.8) * vulkan : fall back instead of aborting when FA scratch exceeds maxStorageBufferRange * vulkan : require KV-cache layout in FA dequant path Assisted-by: Claude (Opus 4.8) * vulkan : skip FA dequant path on coopmat2 Assisted-by: Claude (Opus 4.8) * tests : add contiguously-allocated quant K/V FA tests Assisted-by: Claude (Opus 4.8) * vulkan : tri


发布时间:2026-08-21 01:43
抓取时间:2026-08-21 02:21
来源机构:ggml-org
阅读原文github.com