返回全部动态

llama.cpp b11569:修复 Metal mul_mat_id 重复 id 问题

原标题:b11569

llama.cpp Releases一手来源开源质量 78

AI 摘要

llama.cpp 发布 b11569 版本,主要修复 Metal 后端 mul_mat_id 算子在 ids 存在重复时产生错误或丢失输出行、并可能越界写入相邻专家切片的问题。修复通过两遍扫描构建按专家的紧凑 (token, slot) 列表,并借鉴 Vulkan 实现由预处理阶段派发 entry tile,使网格规模缩小约 8-16 倍。883/883 个 test-backend-ops MUL_MAT_ID 测试通过,llama-bench 在 Qwen3.6-35B-A3B Q8_0 上各 pp 尺寸均快于 master。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : fix mul_mat_id with duplicate ids (#30373) * metal : fix mul_mat_id limits and kernel name * metal : fix mul_mat_id with duplicate ids kernel_mul_mm_id_map0 assumed at most one match per token and a fixed capacity of ne21 entries per expert, which produced wrong or dropped output rows and could overflow into the slice of the next expert when the ids contain duplicates. build a compact per-expert list of the (token, slot) entries instead: - pass 1 counts the entries o


发布时间:2026-10-12 21:16
抓取时间:2026-10-12 21:27
来源机构:ggml-org
阅读原文github.com