返回全部动态
llama.cpp b11207:Hexagon 支持分块 Q4_0/Q8_0 GET_ROWS
原标题:b11207
AI 摘要
llama.cpp 发布 b11207 版本,主要更新为 Hexagon 后端新增对分块(tiled)Q4_0 和 Q8_0 量化格式的 GET_ROWS 支持,采用分块 HVX 反量化并改进 DMA 流水线与内核选择逻辑,同时重新启用向量化器。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: support tiled Q4_0 and Q8_0 GET_ROWS (#29511) * hexagon: support tiled Q4_0 and Q8_0 GET_ROWS * hex-get-rows: fix macros * hex-get-rows: use tiled HVX dequantization Assisted-by: OpenCode * hex-get-rows: fix register spills and clean up checks for unsupported ops * hex-get-rows: improve dma pipeline * hex-get-rows: improve/simplify kernel selection logic * hex-build: reenable vectorizer, didnt notice the regression earlier in the sampler update --------- Co-aut
发布时间:2026-09-27 14:30
抓取时间:2026-09-27 14:49
来源机构:ggml-org