返回全部动态
llama.cpp b11741：OpenCL 新增 q4_0/q4_k/q6_k 的 cooperative-k dp4a GEMM
原标题：b11741
AI 摘要
llama.cpp 发布 b11741 版本，为 OpenCL 后端新增 cooperative-k dp4a GEMM 实现，覆盖 q4_0、q4_k 和 q6_k 三种量化格式，并修复了内存对齐问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次改动可提升 OpenCL 设备上量化模型推理的矩阵乘法效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: add cooperative-k dp4a gemm for q4_0, q4_k and q6_k (#30741) * opencl: add cooperative-k dp4a GEMM for q4_0 * opencl: add cooperative-k dp4a GEMM for q4_k * opencl: add cooperative-k dp4a GEMM for q6_k * opencl: fix alignment </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/57533158> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11741/llam
发布时间：2026-10-20 04:13
抓取时间：2026-10-20 04:34
来源机构：ggml-org