返回全部动态

llama.cpp b10709 发布:修复 RPC 跨服务器序列化问题

原标题:b10709

llama.cpp Releases一手来源产品发布质量 67

AI 摘要

llama.cpp 发布 b10709 版本,主要修复了 RPC 后端中跨服务器张量序列化的问题,避免序列化来自其他服务器的缓冲区,并新增了双服务器回归测试。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> rpc: avoid serializing buffers from other servers (#26500) * rpc: avoid serializing buffers from other servers Only include remote buffer pointers when the buffer belongs to the RPC dispatcher receiving the graph. Add a two-server regression test for cross-server tensor serialization. Assisted-by: Codex * cont : add ref --------- Co-authored-by: Georgi Gerganov <ggerganov@gmail.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggm


发布时间:2026-08-31 11:48
抓取时间:2026-08-31 12:43
来源机构:ggml-org
阅读原文github.com