返回全部动态
llama.cpp b11331：CUDA 路径支持 NVFP4 计算类型
原标题：b11331
AI 摘要
llama.cpp 发布 b11331 版本，主要更新是在 CUDA 的 cuBLAS 路径上为 NVFP4 量化格式处理计算类型，并在硬件允许时对量化模型使用 BF16 计算类型，同时为 NVFP4 设置至少 BF16 范围的累加精度。该改动由 NVIDIA 工程师提交，并保留了 per-expert matmul 的 op_params。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: Handle compute type for NVFP4 on cublass path (#29173) * CUDA: Handle compute type for NVFP4 on cublass path Signed-off-by: ynankani <ynankani@nvidia.com> * Use BF16 compute type for quantized models if HW allows Signed-off-by: ynankani <ynankani@nvidia.com> * Set acc prec to bf16 for nvfp4 as it needs atleast bf16 range Signed-off-by: ynankani <ynankani@nvidia.com> * Update ggml/src/ggml-cuda/ggml-cuda.cu Co-authored-by: Johannes Gäßler <johannesg@5d6.de> * preser
发布时间：2026-10-02 08:48
抓取时间：2026-10-02 09:46
来源机构：ggml-org