返回全部动态
llama.cpp b11448：CUDA 大张量 BF16/FP16 转 F32 分块优化
原标题：b11448
AI 摘要
llama.cpp 发布 b11448 版本，主要更新为 CUDA 后端对 BF16/FP16 到 F32 的大规模转换进行分块处理，并在分块 cuBLAS 矩阵乘法中正确处理目标步长。该改动由社区贡献者提交，旨在提升大张量类型转换与矩阵运算的显存效率。版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> cuda: BF16/FP16 conversion to f32 chunking (#29442) * ggml-cuda: chunk large BF16/FP16 to F32 conversions * Update ggml/src/ggml-cuda/ggml-cuda.cu Co-authored-by: Johannes Gäßler <johannesg@5d6.de> * Update ggml/src/ggml-cuda/ggml-cuda.cu Co-authored-by: Johannes Gäßler <johannesg@5d6.de> * ggml-cuda: respect dst stride in chunked cuBLAS matmul --------- Co-authored-by: Johannes Gäßler <johannesg@5d6.de> </details> **Website:** - <https://llama.app> **Attestations:** -
发布时间：2026-10-07 02:31
抓取时间：2026-10-07 03:26
来源机构：ggml-org