返回全部动态
llama.cpp b10241 发布：修复 CUDA 数据竞争并优化性能
原标题：b10241
AI 摘要
llama.cpp 发布 b10241 版本，主要修复了 CUDA 后端中 block_reduce 复用共享内存时的数据竞争问题，并引入了双缓冲优化以提升 softmax 和 norm 操作的性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: Fix data-races when reusing SMEM in block_reduce (#26385) * CUDA: Fix data-races when reusing block_reduce block_reduce currently doesn't resync after reading from SMEM, causing potential data-races when reusing SMEM for multiple reductions. One may consider simply always adding this in block_reduce, but this comes at a potential perf cost * double-buffering for single-row softmax * double-buffering for norm as well * Add comment * Add explanatory comment to block_re
发布时间：2026-08-03 22:58
抓取时间：2026-08-03 23:15
来源机构：ggml-org