返回全部动态
llama.cpp b12122：CUDA 融合 NVFP4 gate/up 与 GLU
原标题：b12122
AI 摘要
llama.cpp 发布 b12122 版本，核心变更是 CUDA 后端在 MMQ 中融合 NVFP4 的 gate/up 矩阵乘法与 GLU 激活，并遵循请求的 src1 精度、共享 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel。同时补充了 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。该版本同步提供 macOS、Linux、Windows、Android 等多平台多后端预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> Title: CUDA: fuse NVFP4 gate/up matmuls and GLU in MMQ (#31296) * cuda: fuse NVFP4 gate/up and GLU in MMQ * cuda: honor the requested src1 precision in fused gate/up MMQ * cuda: share NVFP4 scale checks, skip unused fused FP4 kernels * cuda: test NVFP4 fused MMQ at W4A8 without scales and with batches, clean up naming * cuda: check gate_scale before loading the fused NVFP4 gate scale </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggm
发布时间：2026-11-05 14:15
抓取时间：2026-11-05 15:07
来源机构：ggml-org