返回全部动态
llama.cpp b11324：llama-mmap 借助 direct-io 避免张量重复副本
原标题：b11324
AI 摘要
llama.cpp 发布 b11324 版本，主要变更是 llama-mmap 在使用 direct-io 时避免为每个张量创建第二份完整大小的副本，从而降低内存占用。该改动由 NVIDIA 工程师参与贡献，并借助 Claude 辅助完成。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> llama-mmap : avoid a second full-size copy of each tensor with direct-io (#29749) Assisted-by: Claude Co-authored-by: Pranesh Gonegandla <pgonegandla@nvidia.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/51929570> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11324/llama-b11324-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI en
发布时间：2026-10-02 03:24
抓取时间：2026-10-02 03:33
来源机构：ggml-org