llama.cpp b10757 发布：Vulkan 后端 IQ3_S 大批量性能提升

原标题：b10757

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10757 版本，主要改进是 Vulkan 后端对 IQ3_S 矩阵向量乘法在大批量（>4）场景下的处理效率，当 n=8 时性能提升 5 倍。该版本同时提供了适用于多个平台和硬件加速器的预编译二进制文件。

以上摘要由 AI 生成，可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: handle larger batch sizes (>4) efficiently for IQ3_S mat-vec (#27449) * vulkan: handle larger batch sizes (>4) efficiently for IQ3_S mat-vec when NUM_COLS > 4. 5x perf at n=8 Assisted-by: Claude Opus 5 * adds 2 cases per quant type at `k=16*256` to the `all_types` mat-vec sweep --------- Co-authored-by: Marshall <assistant@llama.cpp> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/44643074> **m

发布时间：2026-09-02 16:43

抓取时间：2026-09-02 17:13

来源机构：ggml-org

阅读原文github.com