llama.cpp 发布 b11456:CUDA 改用 per-thread stream
原标题:b11456
AI 摘要
llama.cpp 发布 b11456 版本,主要变更为 ggml-cuda 后端在 buffer 初始化 padding memset 时改用 per-thread stream,并在 CI 中为 ROCm 重新启用 test-backend-ops 的 -j 并行测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文节选
<details open> ggml-cuda: use per-thread stream for buffer-init padding memset (#28782) * ggml-cuda: use per-thread stream for buffer-init padding memset * ci : re-enable test-backend-ops -j for ROCm </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/53340384> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11456/llama-b11456-bin-macos-arm64.tar.gz) - macOS Apple Sili