返回全部动态

llama.cpp b11117:HIP 后端用 SWAR 优化 IQ2/IQ3

原标题:b11117

llama.cpp Releases一手来源开源质量 64

AI 摘要

llama.cpp 发布 b11117 版本,主要变更是针对 HIP 后端优化 IQ2/IQ3 量化格式,使用 SWAR(寄存器内并行)技术以位操作实现 __vsub4 和 __vcmpne4 指令。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> HIP : optimize IQ2/IQ3 (`__vsub4` `__vcmpne4`) using SWAR (#27962) * HIP : use bit manipulation for __vcmpne4 * HIP : use bit manipulation for __vsub4 </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/49401157> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11117/llama-b11117-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DIS


发布时间:2026-09-23 09:43
抓取时间:2026-09-23 10:52
来源机构:ggml-org
阅读原文github.com