返回全部动态

llama.cpp b10447 发布:重构 server 线程模型

原标题:b10447

llama.cpp Releases一手来源产品发布质量 67

AI 摘要

llama.cpp 发布 b10447 版本,主要重构了 server 的 yield_to_queue 线程模型,将 speculative 处理移至 worker 线程,并交换了 worker 与主线程的设计。该版本提供了多平台二进制文件,包括 macOS、Linux、Windows、Android 等,并支持多种后端如 Vulkan、CUDA、ROCm、OpenVINO 等。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server: re-design yield_to_queue thread model (#27133) * run common_speculative_process in worker * swap worker <--> main thread design </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10447/llama-b10447-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/


发布时间:2026-08-16 04:14
抓取时间:2026-08-16 05:03
来源机构:ggml-org
阅读原文github.com