返回全部动态
llama.cpp 发布 b12023：修复 server 共享决策前缀问题
原标题：b12023
AI 摘要
llama.cpp 发布 b12023 版本，修复了 server 端共享决策前缀的问题（#30710），将共享前缀限制在父任务与各子任务的第一个必需输出位置，从而在问题共享选项 token 时保证最终 batch 中决策输出 embedding 可用，修复了 #30482。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> server: cap shared decision prefixes at the first output (#30710) Limit the shared prefix to the first required output position of the parent and each child task. This keeps decision output embeddings available in the final batch when questions share option tokens. Fixes #30482 Signed-off-by: aiqubits <aiqubits@hotmail.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/62175271> **macOS/iOS:** - [macOS
发布时间：2026-11-01 03:18
抓取时间：2026-11-01 03:35
来源机构：ggml-org