返回全部动态
llama.cpp b10908:修复 Metal iq mul_mv 内核线程闲置
原标题:b10908
AI 摘要
llama.cpp 发布 b10908 版本,主要修复 Metal 后端中 iq mul_mv 系列内核在 ne00 < 1024 时的线程闲置问题。改动将 #28086 的行切分方案推广到 iq1_s、iq1_m、iq2_xxs、iq2_xs、iq2_s 和 iq3_s 六个内核,并顺带优化了 src0 行指针偏移与 offset0 的折叠处理。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> metal : fix idle threads in the remaining iq mul_mv kernels for ne00 < 1024 (#28692) * metal : fix idle threads in the remaining iq mul_mv kernels for ne00 < 1024 Generalize the row split from #28086 to the six other kernels that use the same lane-to-block mapping: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s and iq3_s. Each of them assigns one 32-element chunk per thread, so when a row has fewer than 32 chunks the rest of the simdgroup is idle. When nb32 < 32 and nb32 divides 32, 32/
发布时间:2026-09-11 19:44
抓取时间:2026-09-11 20:25
来源机构:ggml-org