llama.cpp b11600 修复 no-cache attention 的 KQ bias 填充
原标题：b11600
AI 摘要
llama.cpp 发布 b11600 版本，修复了 no-cache attention 中 KQ bias 的填充问题：此前 no-cache attention 会将 K、V 和 mask 填充到 256，但 T5 还会加入 [n_tokens, n_tokens] 的相对位置 bias，导致与 KQ 相加时维度不匹配；本次修复将 bias 用零填充到 mask 的 KV 维度。该版本同时提供 macOS、Linux、Windows、Android 等多平台及各后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译包。
正文节选
<details open> graph: pad the KQ bias of the no-cache attention (#30446) The no-cache attention pads K, V and the mask to 256, but T5 also adds a relative position bias of [n_tokens, n_tokens], so the add with KQ fails unless n_tokens divides the padded width. Pad the bias with zeros up to the KV dimension of the mask, like K and V. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/55592156> **macOS/iOS:** - [macOS Apple S