llama.cpp b11372：优化 lightning indexer 内存与多后端支持

AI 摘要

llama.cpp 发布 b11372 版本，主要针对 qwen4exp 的 lightning indexer 进行内存与性能优化：将索引器分数内存减半，改为逐头计算并原地累加，避免同时存在两个大型 f32 张量。同时为 CUDA 增加 4 头支持、Metal 将头数作为函数常量、Vulkan 按 keys 和 tokens 分块并向量化加载、使用 fp16 点积。这些改动降低了长上下文下的显存占用并扩展了后端支持。

正文节选

<details open> qwen4exp : halve the indexer score memory (#29825) * qwen4exp : halve the indexer score memory The indexer scored all heads in one product and rectified a copy of it, so two [n_pool, n_idx_h, n_tokens] f32 tensors were live at once, the largest buffers of the graph at long context. Each head now gets its own product, rectified and summed in place into one [n_pool, n_tokens] score. * qwen4exp: let the allocator reuse the indexer score buffers Address review from CISC: use plai

发布时间：2026-10-03 19:24

抓取时间：2026-10-03 19:48

来源机构：ggml-org