llama.cpp b10699 发布：优化后端内存分配与 RPC 支持

原标题：b10699

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10699 版本，新增 ggml_backend_op_alloc_size_may_expand 函数，用于处理 Metal、SYCL、WebGPU 等后端在特定算子上的额外内存需求，并优化了 RPC 后端的内存分配查询逻辑。该版本提供了多平台（macOS、Linux、Windows、Android 等）的预编译二进制文件。

以上摘要由 AI 生成，可能存在误差。事实请以原文为准。

正文节选

<details open> ggml : add ggml_backend_op_alloc_size_may_expand, use it in RPC (#27960) some backends (Metal, SYCL, WebGPU) require additional memory for fleeting data for certain ops, which is reflected in their get_alloc_size implementations. add ggml_backend_op_alloc_size_may_expand() to the backend utils, listing these ops, and assert in ggml_backend_buft_get_alloc_size that a backend expanding the alloc size of a compute op only does so for ops listed in the helper. use the helper in th

发布时间：2026-08-31 02:07

抓取时间：2026-08-31 02:35

来源机构：ggml-org

阅读原文github.com