返回全部动态
llama.cpp b11474 新增 GLM5-Next MTP 支持并优化
原标题：b11474
AI 摘要
llama.cpp 发布 b11474 版本，新增对 GLM5-Next 多 token 预测（MTP）头的支持，将其构建为 graph_mtp 图。该实现通过裁剪（crop）输出行替代剪枝来优化无输出行的 NextN 前向，使 4-token catch-up 的内核耗时从 6.9 ms 降至 2.9 ms，并修复了 NextN 提取契约与共享尾部回滚问题。此外还支持分别加载仅含 MTP 或仅含主干的 GGUF 文件，以便将拆分后的 MTP 模型作为草稿模型使用。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> feat: add GLM5Next MTP, optimize (#29928) * llama : add GLM5-Next NextN (MTP) graph Build the GLM5-Next multi-token-prediction head as graph_mtp: the NextN block embeds enorm(tok)+hnorm(h) through eh_proj, runs one plain DSA layer and the shared lm_head, reusing the trunk's builders through the no_build tag ctor. llama_memory_recurrent also tolerates a partial seq_rm when the context holds no recurrent layers, which is what the MTP draft context needs. Assisted-by: Claude * l
发布时间：2026-10-07 21:42
抓取时间：2026-10-07 22:33
来源机构：ggml-org