返回全部动态
llama.cpp b10701 修复 NVFP4 草稿模型投机解码问题
原标题:b10701
AI 摘要
llama.cpp 发布 b10701 版本,修复了 DFlash2 NVFP4 草稿模型在投机解码中因未传递 Q、K、V 和输出投影的缩放因子而导致接受 token 极少的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件,并支持多种硬件加速后端。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> dflash: pass missing NVFP4 scales to attention operations (#28000) - DFlash2 NVFP4 draft models produced almost no accepted speculative tokens because the Q, K, V, and output projection scales were not passed to the corresponding graph operations. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/43992416> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/
发布时间:2026-08-31 02:56
抓取时间:2026-08-31 03:41
来源机构:ggml-org