返回全部动态
llama.cpp b11680：Hexagon 张量重打包重构
原标题：b11680
AI 摘要
llama.cpp 发布 b11680 版本，主要针对 Hexagon 后端进行张量重打包（tensor repacking）重构，新增对分块（tiled）与扁平（flat）量化权重及 F16/F32/BF16 权重的支持。改动涉及 GET_ROWS、矩阵乘法（MM）内核、反量化内核、L2/DCache 脏数据跟踪与刷新等，并同步更新了 macOS、Linux、Android、Windows 等多平台预编译二进制。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: tensor repacking rework and support for tiled and flat quantized and fp weights (#30635) * hex-repack: Remove need_repack hack and streamline the rules -- breaks GET_ROWS tests for K-Quants, will fix in the next round Add support for GET_ROWS with tiled Q5_K Add support for raw k-quant tensors * hex-get-rows: vectorize raw k-quant ukernels * hex-binary: refactor dma-loop thread functions (no need for macros, etc) * hex-quant: move/cleanup flat and tiled dequant uke
发布时间：2026-10-16 13:28
抓取时间：2026-10-16 13:51
来源机构：ggml-org