返回全部动态
llama.cpp b11214:CDNA 上为大批量启用 fattn-mma 内核
原标题:b11214
AI 摘要
llama.cpp 发布 b11214 版本,主要变更是为 HIP 后端在 CDNA 架构上启用 fattn-mma 内核,支持 dkq 大于 256 的大批量场景,并在 CI 的 hip-quality-check 中忽略超大 mfma 内核的寄存器溢出。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> HIP: Enable fattn-mma kernel on cdna for dkq > 256 for large batch sizes (#28907) * HIP: Enable fattn-mma kernel on cdna for dkq > 256 for large batch sizes * CI: hip-quality-check: ignore spills for very large mfma mma kernels </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/50549501> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11214/llama-b11214
发布时间:2026-09-27 20:45
抓取时间:2026-09-27 20:51
来源机构:ggml-org