返回全部动态
llama.cpp b10517 发布:Vulkan 后端优化与多平台支持
原标题:b10517
AI 摘要
llama.cpp 发布 b10517 版本,主要针对 Vulkan 后端进行优化,包括在 coopmat1 中一次性反量化 q8_0 KV 缓存,并改进了 Flash Attention 路径的容错与布局检查。该版本还提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> vulkan : dequant q8_0 KV once in coopmat1 (#25494) * vulkan : dequant q8_0 KV once in coopmat1 Assisted-by: Claude (Opus 4.8) * vulkan : fall back instead of aborting when FA scratch exceeds maxStorageBufferRange * vulkan : require KV-cache layout in FA dequant path Assisted-by: Claude (Opus 4.8) * vulkan : skip FA dequant path on coopmat2 Assisted-by: Claude (Opus 4.8) * tests : add contiguously-allocated quant K/V FA tests Assisted-by: Claude (Opus 4.8) * vulkan : tri
发布时间:2026-08-21 01:43
抓取时间:2026-08-21 02:21
来源机构:ggml-org