返回全部动态
llama.cpp b10714 发布：优化 Vulkan 批处理推理性能
原标题：b10714
AI 摘要
llama.cpp 发布 b10714 版本，主要针对 Vulkan 后端在 Strix Halo 上的批处理推理进行了性能调优，通过为 RDNA3 架构设置静态 mat-vec 行数（4行）来提升矩阵向量乘法的速度。该版本提供了适用于多种平台和硬件（如 macOS、Linux、Windows、Android）的预编译二进制文件。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> vulkan: tune mat-vec rows for batched inference on Strix Halo (#27909) * vulkan: RDNA3 static mat-vec rows above four columns On RDNA3 above four columns a static 4 rows for all types benches faster than the default. * vulkan: RDNA3 static mat-vec-id rows mul_mat_vec_id has no column dimension to switch on. On my Strix Halo machine, a static 4 is faster here than the defaults across types and batch sizes. </details> **Website:** - <https://llama.app> **Attestations:** - <h
发布时间：2026-08-31 17:40
抓取时间：2026-08-31 18:06
来源机构：ggml-org