返回全部动态
llama.cpp b10534 发布：CUDA 解码交叉点优化
原标题：b10534
AI 摘要
llama.cpp 发布 b10534 版本，主要更新为 CUDA 后端新增按硬件和量化类型调整的切换点，用于优化 mvq 到 MMQ 解码的交叉点。该更新引入了运行时环境变量 GGML_CUDA_MMVQ_MAX 来调整批量大小阈值，并针对 Blackwell、Ada 等硬件进行了调优，在 RTX 5090 上 Q4_K 密集解码在 B=8 时性能提升 23-41%。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: adding switch points per HW and quant type to tune the mvq->MMQ decode crossover (#26079) * CUDA: runtime GGML_CUDA_MMVQ_MAX to tune the mvq->MMQ decode crossover Add a runtime override of the mul_mat_vec_q -> MMQ batch crossover (default MMVQ_MAX_BATCH_SIZE). Lowering it routes batches above the threshold from the CUDA-core vector kernel to the int8 MMQ tensor-core path, which is faster once quantized decode becomes compute-bound at B>1 (measured +23-41% at B=8 on RTX 50
发布时间：2026-08-21 09:37
抓取时间：2026-08-21 10:39
来源机构：ggml-org