返回全部动态
llama.cpp b10777 发布：SYCL Q4_K 优化与多平台支持
原标题：b10777
AI 摘要
llama.cpp 发布 b10777 版本，主要更新为 SYCL 后端对 Q4_K 多列 MMVQ 的优化，通过权重解包和行间激活复用减少冗余计算，并新增相关测试。该版本提供多平台预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、SYCL 等后端。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> sycl: reduce redundant work in Q4_K multi-column MMVQ (#27062) * sycl: Q4_K Weight unpack optimization and reuse between destination Columns * sycl: Q4_K small N (N=2..4) + two output rows by subgroup reuse of activation between two rows. * sycl: gate Q4_K two-row reuse for small N=2 * sycl: Fix on magic number now uses Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 for it, added tests for coverage around Q4_K_MMVQ_ROW_PAIR_MIN_NROWS with perf support to test Q4_K MUL_MAT, applied the sam
发布时间：2026-09-03 16:27
抓取时间：2026-09-03 16:29
来源机构：ggml-org