返回全部动态

llama.cpp b12076:修复 Metal cpy kernel 非连续目标寻址

原标题:b12076

llama.cpp Releases一手来源开源质量 64

AI 摘要

llama.cpp 发布 b12076 版本,修复了 Metal 后端 cpy kernel 在目标张量第 0 维非连续(如 permute_dst = {1, 0, 2, 3})时使用隐式元素大小步长而非 args.nb0 寻址、导致写入错误地址的问题;该缺陷由新增的 test-backend-ops cpy 用例捕获,目标连续时寻址行为不变。同时该版本提供了 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : fix cpy kernel for dst non-contiguous in dim 0 (#31581) kernel_cpy_t_t indexed the dst innermost dim with an implicit element-size stride instead of args.nb0, so cpy into a permuted view (nb0 != type size) wrote the wrong addresses. caught by the new test-backend-ops cpy case with permute_dst = {1, 0, 2, 3} from #31446. addressing is unchanged when dst is contiguous in dim 0. Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (Mac Studio, M5 Ultra, 256GB) </details


发布时间:2026-11-04 01:22
抓取时间:2026-11-04 02:09
来源机构:ggml-org
阅读原文github.com