返回全部动态

llama.cpp b12202:按参考精度引入 BF16 累加

原标题:b12202

llama.cpp Releases一手来源开源质量 75

AI 摘要

llama.cpp 发布 b12202 版本,核心改动是让 llama 与 mtmd 遵循 ggml_prec_set_acc 调用的参考精度:GLM4 系列的下投影与输出投影、MiMoVL 视觉矩阵乘、Qwen3-TTS 说话人编码器 conv1d 改为 GGML_PREC_BF16,而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索引器保持 F32。ggml 后端同步处理 GGML_PREC_BF16,CUDA、Hexagon、OpenCL、WebGPU、Vulkan 对 MUL_MAT_ID 的 src1 同样拒绝该精度,CPU、SpaceMIT、ET 在 flash attention 中以 F32 累加接受 BF16。同时新增 flash attention 测试覆盖,并为 KQ 乘法请求 BF16 精度。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama, mtmd: follow the reference precision of ggml_prec_set_acc calls (#31851) * llama, mtmd: follow the reference precision of ggml_prec_set_acc calls Requests that the reference implementation does not keep in F32 move to GGML_PREC_BF16: the GLM4 family down and output projections, the MiMoVL vision matmuls and the Qwen3-TTS speaker encoder conv1d. The DeepSeek V4/V4.1 routers and the MiniMax-M3 indexer stay in F32 with a link to the reference line that computes them in F32.


发布时间:2026-11-08 16:11
抓取时间:2026-11-08 16:41
来源机构:ggml-org
阅读原文github.com