返回全部动态

llama.cpp b10701 修复 NVFP4 草稿模型投机解码问题

原标题:b10701

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10701 版本,修复了 DFlash2 NVFP4 草稿模型在投机解码中因未传递 Q、K、V 和输出投影的缩放因子而导致接受 token 极少的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件,并支持多种硬件加速后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> dflash: pass missing NVFP4 scales to attention operations (#28000) - DFlash2 NVFP4 draft models produced almost no accepted speculative tokens because the Q, K, V, and output projection scales were not passed to the corresponding graph operations. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/43992416> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/


发布时间:2026-08-31 02:56
抓取时间:2026-08-31 03:41
来源机构:ggml-org
阅读原文github.com