返回全部动态

llama.cpp b10863 发布:修复 Metal 内核空闲线程问题

原标题:b10863

llama.cpp Releases一手来源产品发布质量 69

AI 摘要

llama.cpp 发布 b10863 版本,主要修复了 Metal 后端中 mul_mv_iq3_xxs 内核在 ne00 < 1024 时存在的空闲线程问题。该修复通过引入函数常量来选择行分割方式,避免了为小矩阵单独启动内核,同时保持宽矩阵的原有性能。此版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : fix idle threads in mul_mv_iq3_xxs for ne00 < 1024 (#28086) * metal : fix half-idle simdgroup in kernel_mul_mv_iq3_xxs_f32 for ne00 < 1024 * metal : keep N_R0_IQ3_XXS = 4, dispatch a separate 8-row split kernel for ne00/32 < 32 The plain kernel is unchanged from master (4 rows per simdgroup, one thread per chunk). The row-split mapping now lives in a separate kernel_mul_mv_iq3_xxs_f32_split instantiation with N_R0_IQ3_XXS_SPLIT = 8, and the host selects it only when ne


发布时间:2026-09-08 21:58
抓取时间:2026-09-08 22:00
来源机构:ggml-org
阅读原文github.com