返回全部动态

llama.cpp b10889 发布:索引器不再分配未使用的 V cache

原标题:b10889

llama.cpp Releases一手来源开源质量 55

AI 摘要

llama.cpp 发布 b10889 版本,主要改动是内存优化:在索引器场景下不再分配 V cache,因为该缓存实际未被使用(PR #28330,由 Stanisław Szymczyk 参与)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> memory : avoid allocating V cache for indexer (it's not used) (#28330) Co-authored-by: Stanisław Szymczyk <sszymczy@gmail.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/46530817> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10889/llama-b10889-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com


发布时间:2026-09-10 18:04
抓取时间:2026-09-10 18:28
来源机构:ggml-org
阅读原文github.com