返回全部动态

llama.cpp b11854:Vulkan 后端支持 ggml src1 精度

原标题:b11854

llama.cpp Releases一手来源开源质量 65

AI 摘要

llama.cpp 发布 b11854 版本,核心变更是 Vulkan 后端新增 ggml src1 精度支持(PR #30656),包括更新累加器精度选择、通过缩放处理 fp32 溢出、处理 copy-to-fp16 激活溢出,并新增 ggml 精度获取辅助函数与测试。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: ggml src1 precision support (#30656) * vulkan: update accumulator precision selection * handle fp32 overflows through scaling * handle overflows in copy-to-fp16 activations * add missing cases * simplify code * add tests * add ggml prec get helpers, use in Vulkan backend * clean up comments * revert comment edit * trim tests * also handle fp32 src0, fix test scaling src0 values too * don't scale if disabled * remove fp16 scaling * add check to mul_mat * fix


发布时间:2026-10-24 22:35
抓取时间:2026-10-24 22:42
来源机构:ggml-org
阅读原文github.com