返回全部动态
llama.cpp b11403：CUDA 小批量 f16/bf16 mul_mat 改用 MMVF
原标题：b11403
AI 摘要
llama.cpp 发布 b11403 版本，主要更新为在 CUDA 后端针对小批量场景下的 thin f16/bf16 mul_mat 操作改用 MMVF，并调整了内核选择逻辑。该改动由 NVIDIA 的 ynankani 提交，Johannes Gäßler 参与协作，旨在优化小批量推理时的矩阵乘法性能。版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: use MMVF for thin f16/bf16 mul_mat at small batch size (#29633) * CUDA: use MMVF for thin f16/bf16 mul_mat at small batch size Signed-off-by: ynankani <ynankani@nvidia.com> * adjust kernel selection logic --------- Signed-off-by: ynankani <ynankani@nvidia.com> Co-authored-by: Johannes Gäßler <johannesg@5d6.de> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/52714313> **macOS/iOS:** - [macOS Apple
发布时间：2026-10-05 13:21
抓取时间：2026-10-05 13:26
来源机构：ggml-org