返回全部动态

llama.cpp b11178:修复 MUSA/MTT S5000 算子失败与构建问题

原标题:b11178

llama.cpp Releases一手来源开源质量 85

AI 摘要

llama.cpp 发布 b11178 版本,集中修复 MUSA 后端(摩尔线程 MTT S5000 / PH1)的多个问题。改动包括:让 MUSA 使用 16 字节拷贝、启用 CUB 路径、采用上游代码路径、移除多余编译期守卫、在 PH1 上禁用 MMQ 路径,并修复 fused TOPK_MOE 内核在 MUSA 上的死锁。修复后 27B 模型困惑度从 nan 变为有限值,测试套件 22237 个用例 0 失败,FlashAttention 与 ARGSORT/TOP_K 等算子性能与支持度提升。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> musa: fix PH1 (MTT S5000) operator failures and build issues (#29193) * musa: use 16-byte copies for MUSA like sm_70+ ggml_cuda_get_max_cpy_bytes() derives the copy width from __CUDA_ARCH__. mcc never defines it, so MUSA fell into the generic branch and returned 8 bytes instead of the 16 bytes that every sm_70+ target gets. The value sizes the per-thread copy unit of the FlashAttention K/V staging code (fattn-common, fattn-vec, fattn-tile, fattn-mma-f16 shared-memory loads) and


发布时间:2026-09-25 19:16
抓取时间:2026-09-25 20:02
来源机构:ggml-org
阅读原文github.com