返回全部动态

llama.cpp b11789:OpenCL 新增 dp4a GEMM 变体

原标题:b11789

llama.cpp Releases一手来源开源质量 63

AI 摘要

llama.cpp 发布 b11789 版本,主要变更为在 OpenCL 后端新增支持向量加载激活的 dp4a GEMM 变体,并重命名了相关 kernel 与环境变量。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。此次更新属于底层推理性能优化,有助于提升 OpenCL 设备上的量化矩阵乘效率。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> opencl: add dp4a GEMM variants to vector load activation (#30753) * opencl: add dp4a GEMM variants with vector activation loads * opencl: rename kernels and env vars </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/58160559> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11789/llama-b11789-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiA


发布时间:2026-10-21 18:23
抓取时间:2026-10-21 18:41
来源机构:ggml-org
阅读原文github.com