返回全部动态
llama.cpp b10863 发布:修复 Metal 内核空闲线程问题
原标题:b10863
AI 摘要
llama.cpp 发布 b10863 版本,主要修复了 Metal 后端中 mul_mv_iq3_xxs 内核在 ne00 < 1024 时存在的空闲线程问题。该修复通过引入函数常量来选择行分割方式,避免了为小矩阵单独启动内核,同时保持宽矩阵的原有性能。此版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> metal : fix idle threads in mul_mv_iq3_xxs for ne00 < 1024 (#28086) * metal : fix half-idle simdgroup in kernel_mul_mv_iq3_xxs_f32 for ne00 < 1024 * metal : keep N_R0_IQ3_XXS = 4, dispatch a separate 8-row split kernel for ne00/32 < 32 The plain kernel is unchanged from master (4 rows per simdgroup, one thread per chunk). The row-split mapping now lives in a separate kernel_mul_mv_iq3_xxs_f32_split instantiation with N_R0_IQ3_XXS_SPLIT = 8, and the host selects it only when ne
发布时间:2026-09-08 21:58
抓取时间:2026-09-08 22:00
来源机构:ggml-org