返回全部动态
llama.cpp b11457：CUDA 后端 XIELU 新增 BF16 支持
原标题：b11457
AI 摘要
llama.cpp 发布 b11457 版本，为 CUDA 后端的 XIELU 算子新增 BF16 支持。此前 XIELU 的 CUDA 内核模板已对元素类型泛化，仅缺少 F32/F16 类型断言和 else-if 分发，本次补上 nv_bfloat16 分支并移除 ggml-cuda.cu 中拒绝 BF16+XIELU 的临时 gate。测试覆盖 Mac CPU、Mac Metal 和 RTX 4090 CUDA，并同步更新了 CUDA.csv 与 ops.md 文档。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> cuda : add BF16 support for XIELU (#29955) The XIELU CUDA kernel template is already generic over the element type; only the F32/F16 type assertion and the else-if dispatch were missing. Add the nv_bfloat16 branch to the launcher, and drop the temporary supports_op gate in ggml-cuda.cu that rejected BF16+XIELU. test-backend-ops gains two BF16 cases ([10,5,4,3] and [512,16,1,1]). docs/ops/CUDA.csv and docs/ops.md are regenerated; the F32 xIELU row flips from no to yes as well, i
发布时间：2026-10-07 05:23
抓取时间：2026-10-07 05:29
来源机构：ggml-org