返回全部动态

llama.cpp b10907:修复多架构 MTP 上下文 KV cache 分配

原标题:b10907

llama.cpp Releases一手来源开源质量 65

AI 摘要

llama.cpp 发布 b10907 版本,主要修复了 deepseek2、glm4moe、cohere2moe 等架构下 MTP(多 token 预测)上下文的 KV cache 分配问题,并新增了反向架构门控与针对 MTP 层过滤的架构测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> model : fix MTP context kv cache allocation for deepseek2, glm4moe, … (#28630) * model : fix MTP context kv cache allocation for deepseek2, glm4moe, cohere2moe architectures (#28626) * model: add inverse architecture gating and comprehensive architecture testing for mtp layer filtering * model : slim NextN filter comment, drop test-llama-archs changes </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/468322


发布时间:2026-09-11 19:10
抓取时间:2026-09-11 19:25
来源机构:ggml-org
阅读原文github.com