返回全部动态
llama.cpp b10313 发布:新增 LRU 调度器
原标题:b10313
AI 摘要
llama.cpp 发布 b10313 版本,主要更新为在 server 的路由器中新增 LRU 调度器,以优化请求排队和流式处理。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种硬件加速后端。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> server: (router) add LRU scheduler (#26572) * add lru_sched * handle coalescing (req leaves waiting queue) * add tests * fix stream case * address review comments </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10313/llama-b10313-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS In
发布时间:2026-08-08 00:58
抓取时间:2026-08-08 01:49
来源机构:ggml-org