返回全部动态

llama.cpp 发布 b11997:复用张量暂存缓冲区并跳过 direct-io bounce buffer

原标题:b11997

llama.cpp Releases一手来源开源质量 57

AI 摘要

llama.cpp 发布 b11997 版本,核心变更是复用张量暂存缓冲区(tensor staging buffer)并跳过 direct-io 的 bounce buffer(PR #31321)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。此次改动属于底层 I/O 与内存路径优化,旨在减少数据拷贝开销。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama : reuse the tensor staging buffer and skip the direct-io bounce buffer (#31321) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/61552516> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11997/llama-b11997-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS I


发布时间:2026-10-30 08:50
抓取时间:2026-10-30 09:05
来源机构:ggml-org
阅读原文github.com