返回全部动态

llama.cpp b11412:修复 k-pool 模型图重分配问题

原标题:b11412

llama.cpp Releases一手来源开源质量 81

AI 摘要

llama.cpp 发布 b11412 版本,修复了 k-pool 模型(qwen4exp、glm5-next)中因图结构随状态变化而导致的意外图重分配问题,改为始终对池化键执行 scatter+gather 并仅依据上下文常量选择 gather 路径。同时移除了不再使用的 k-pool cache_safe 图 API,新增共享序列图预留回归测试,并修复 CUDA MoE 加权归约在空 ubatch 上的处理。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama : fix unexpected graph reallocation in the k-pool models (#29958) * llama : fix unexpected graph reallocation in the k-pool models Both k-pool models built a graph shape that depends on state the full-context reserve cannot know: - qwen4exp branched on inp->cache_safe, which turns false as soon as llama_memory_seq_cp shares cells (e.g. batched-bench -pps): the QSA layers swapped scatter+gather for fill+concat and dropped the new_pool_rep leaf, so the decode graph h


发布时间:2026-10-05 18:30
抓取时间:2026-10-05 19:01
来源机构:ggml-org
阅读原文github.com