返回全部动态

llama.cpp b10876 发布:CUDA 量化编译控制优化

原标题:b10876

llama.cpp Releases一手来源产品发布质量 69

AI 摘要

llama.cpp 发布 b10876 版本,主要更新为 CUDA 后端将 GGML_FA_ALL_QUANTS 替换为 GGML_FA_QUANTS,提供更细粒度的编译控制,并为未编译的组合添加运行时回退与警告。该版本同时提供了面向多平台(macOS、Linux、Windows、Android 等)的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> CUDA: replace GGML_FA_ALL_QUANTS with GGML_FA_QUANTS, more control over what is compiled (#28079) * CUDA: add configurable FA quant combinations Assisted-by: Codex * remove all flags but , add runtime fallback with warning for uncompiled combination * Update docs/build.md Co-authored-by: Johannes Gäßler <johannesg@5d6.de> * apply code review comments --------- Co-authored-by: Johannes Gäßler <johannesg@5d6.de> </details> **Website:** - <https://llama.app> **Attestation


发布时间:2026-09-09 19:45
抓取时间:2026-09-09 19:51
来源机构:ggml-org
阅读原文github.com