返回全部动态

llama.cpp b11313:为 qwen4exp 重新启用 -sm tensor

原标题:b11313

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11313 版本,重新为 qwen4exp 启用了 -sm tensor 选项。此前 #27941 因 test-llama-archs 在 Meta 设备上触发 GGML_ASSERT 而禁用了该选项。本次修复通过在 hc_init 构建后立即展开它,使 REPEAT 节点直接位于首个设备节点之前,从而让调度器正确分配设备,embedding reshape 保留在 CPU split 中并作为 split 输入复制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> model : re-enable -sm tensor for qwen4exp (#28569) #27941 disabled -sm tensor for qwen4exp because test-llama-archs asserted on the Meta device once the fixture carried a PLE layer: GGML_ASSERT(ggml_backend_buffer_is_meta(tensor->buffer)) at ggml-backend-meta.cpp:476. With host-resident embeddings the PLE gather is a CPU node and hc_init (the REPEAT that fans the embedding out to the hc streams) was first reached through layer 0's PLE path, after that gather. ggml_backend_sched


发布时间:2026-10-01 16:05
抓取时间:2026-10-01 16:25
来源机构:ggml-org
阅读原文github.com