返回全部动态
llama.cpp b10662 发布：新增统一 KV 缓存槽位参数
原标题：b10662
AI 摘要
llama.cpp 发布 b10662 版本，主要更新为 server 端新增 ctx-per-slot 参数（--kv-unified-per-slot），用于统一 KV 缓存管理，并重构了上下文池槽位逻辑。该版本提供了多平台（macOS、Linux、Windows、Android、iOS）的预编译二进制文件，支持多种硬件后端如 CUDA、Vulkan、ROCm 等。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> server: add ctx-per-slot (--kv-unified-per-slot) (#24124) * Add ctx-per-slot argument for unifid KV cache * Swap out ctx fractions for ctx pool slots * Formatting cleanup * Remove ctx-pool-slots, make ctx-per-slot an int * refactor it --------- Co-authored-by: Xuan Son Nguyen <son@huggingface.co> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/43512604> **macOS/iOS:** - [macOS Apple Silicon (arm64)](
发布时间：2026-08-28 05:07
抓取时间：2026-08-28 18:12
来源机构：ggml-org