返回全部动态

llama.cpp b11282:修复 MUSA 后端 __CUDA_ARCH__ 未定义问题

原标题:b11282

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11282 版本,主要修复 MUSA 后端:此前 MUSA 厂商头文件未定义 __CUDA_ARCH__,导致共享 ggml-cuda 源码中所有架构判断为 0,部分内核(如 convert.cu 中 q8_0 到 f16 的反量化内核)被编译为空。该提交参照 HIP 后端报告最新架构并显式排除 NVIDIA 专属特性,仅在设备编译阶段定义该宏,同时移除架构比较中冗余的 defined(__CUDA_ARCH__) 检查。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> musa : define __CUDA_ARCH__ for device passes (#29508) The MUSA vendor header never defined __CUDA_ARCH__, so every architecture test in the shared ggml-cuda sources evaluated to 0. Kernel bodies gated on the architecture therefore compiled to nothing, for example the q8_0 -> f16 dequantization kernel in convert.cu, whose NO_DEVICE_CODE fallback expands to an empty body in host code. Report the newest architecture like the HIP backend does and exclude the NVIDIA-only features


发布时间:2026-09-30 19:56
抓取时间:2026-09-30 20:12
来源机构:ggml-org
阅读原文github.com