返回全部动态

llama.cpp b10414 发布:Metal 后端支持 TQ2_0 类型

原标题:b10414

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10414 版本,为 Metal 后端新增 TQ2_0 类型支持,该类型为三元 2 比特每元素,并优化了 mul_mv 内核。同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : add TQ2_0 support (#26980) * metal: add TQ2_0 support Add support for the GGML_TYPE_TQ2_0 (ternary, 2 bits per element) type in the Metal backend. Assisted-by: llama.cpp:DeepSeek-v4-Flash-0731 * cont : optimize mul_mv kernel - float ops over integer ops - precalculate sums - hoist coef out of the inner loop - contiguous y loads llama.cpp:DeepSeek-v4-Flash-0731 </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://git


发布时间:2026-08-14 02:40
抓取时间:2026-08-14 03:18
来源机构:ggml-org
阅读原文github.com