返回全部动态
llama.cpp b11335：CUDA 将 sm_70 路由至 Turing MMVQ 表
原标题：b11335
AI 摘要
llama.cpp 发布 b11335 版本，其中 CUDA 后端将 Volta（sm_70）架构的 MMVQ 参数路由到 Turing 的 nwarps 表，使 K-quant 单批次解码在 nwarps=2 下运行。在 Tesla V100 32GB 上以 Qwen3.8-27B Q4_K_M 测试，tg128 吞吐提升约 3.17%（+1.091 t/s），困惑度保持不变。该调优源自 V100 专用分支 anyei/llamacpp-v100，属于最小化的两行改动。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> cuda : route sm70 to the Turing MMVQ nwarps table (#29753) * cuda : route sm70 to the Turing MMVQ nwarps table Volta (sm_70) has no MMVQ parameter table of its own and falls through to GENERIC, which launches K-quant batch-1 decode (ncols_dst == 1) at nwarps=4. sm_70 shares TURING's tuning: the K-quant vec_dot prefers nwarps=2 there. Route sm_70 to the existing MMVQ_PARAMETERS_TURING table in both the device and the host table selector. Measured on one Tesla V100 32GB PCIe (PG
发布时间：2026-10-02 11:08
抓取时间：2026-10-02 11:44
来源机构：ggml-org