llama.cpp b11800:新增 QSA 掩码融合算子并泛化 top-k 掩码
原标题:b11800
AI 摘要
llama.cpp 发布 b11800 版本,为 QSA 掩码新增融合算子,并将原本仅覆盖 qwen4exp 与 glm5-next 池化 QSA 选择的 k-pool mask 算子泛化为 ggml_top_k_mask,同时支持 DSA 模型与 DeepSeek V4 CSA 手工构建的 top-k 掩码。新增 llm_graph_context::build_fused_top_k_mask 注册融合节点,k-pool 模型、build_attn 的 DSA 注意力及 DeepSeek V4 CSA 掩码在探测启用该算子时使用它,不支持的 backend 保留原路径。该版本同时提供 macOS、Linux、Android、Windows 各平台及 CUDA、Vulkan、ROCm、SYCL 等后端构建产物。
正文节选
<details open> llama: create new fused op for QSA mask (#30640) * llama: create new fused op for QSA scoring * enroll glm5.3-next too * tests : initialize the remaining tensors in test_kpool_mask The harness sentinels were left uninitialized, so leftover memory could read as NaN and fail the NaN check. * ggml: generalize the k-pool mask op into ggml_top_k_mask The k-pool mask op only covered the pooled QSA selection of qwen4exp and glm5-next, while the DSA models and the DeepSeek V4 CSA b