返回全部动态
llama.cpp b12141：llama-server 检查点改用引用计数
原标题：b12141
AI 摘要
llama.cpp 发布 b12141 版本，核心改动是 llama-server 的检查点机制改用引用计数（shared_ptr）替代深拷贝，以降低开销，并基于 #26004 的槽位保存/恢复逻辑适配到共享指针检查点列表与 common_state_data 缓冲区。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> llama-server: Use reference-counted checkpoints instead of deep-copies (#30137) * checkpoints: reduce overhead Assisted-by: Codex * rebase Adapt the slot save/restore checkpoint appendix from #26004 to the shared_ptr checkpoint list and the common_state_data buffers. Assisted-by: Claude Opus 5.5 --------- Co-authored-by: cwriter <cwriter@localhost> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/64311
发布时间：2026-11-06 09:49
抓取时间：2026-11-06 10:35
来源机构：ggml-org