返回全部动态
llama.cpp b11412:修复 k-pool 模型图重分配问题
原标题:b11412
AI 摘要
llama.cpp 发布 b11412 版本,修复了 k-pool 模型(qwen4exp、glm5-next)中因图结构随状态变化而导致的意外图重分配问题,改为始终对池化键执行 scatter+gather 并仅依据上下文常量选择 gather 路径。同时移除了不再使用的 k-pool cache_safe 图 API,新增共享序列图预留回归测试,并修复 CUDA MoE 加权归约在空 ubatch 上的处理。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> llama : fix unexpected graph reallocation in the k-pool models (#29958) * llama : fix unexpected graph reallocation in the k-pool models Both k-pool models built a graph shape that depends on state the full-context reserve cannot know: - qwen4exp branched on inp->cache_safe, which turns false as soon as llama_memory_seq_cp shares cells (e.g. batched-bench -pps): the QSA layers swapped scatter+gather for fill+concat and dropped the new_pool_rep leaf, so the decode graph h
发布时间:2026-10-05 18:30
抓取时间:2026-10-05 19:01
来源机构:ggml-org