返回全部动态
llama.cpp b11097:OpenCL 新增 A8 Q4_0 非 MoE dp4a 内核
原标题:b11097
AI 摘要
llama.cpp 发布 b11097 版本,主要变更为在 OpenCL 后端新增 A8 Q4_0 非 MoE 的 dp4a 二值化内核(PR #29055)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于推理框架的底层算子优化与常规构建发布。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: add A8 Q4_0 non-MoE dp4a binary kernel (#29055) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/49141307> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11097/llama-b11097-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com
发布时间:2026-09-22 15:06
抓取时间:2026-09-22 15:16
来源机构:ggml-org