返回全部动态
llama.cpp b11206 发布：Hexagon 后端新增采样器支持
原标题：b11206
AI 摘要
llama.cpp 发布 b11206 版本，主要新增 Hexagon 后端采样器支持（PR #29502），包括实现 TOPK、STEP、SUM、ARGMAX、ARGSORT 等采样算子，并改进二进制算子对大 logits 的分块处理与标量支持。同时修复了维度广播索引错误和性能回退问题，并禁用自动向量化以改用显式提示优化关键循环。该版本为 Snapdragon 平台的 Hexagon NPU 提供了完整的采样能力，并同步更新了各平台预编译二进制。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: support for backend sampler (#29502) * hex-topk: trying to improve/cleanup the pipeline * hex-sampling: add STEP op * hex-sampler: add SUM op * hex-sampler: update CPY to support sampling cases * hex-binary: add support for chunking to handle large logits * hex-argmax: super basic version of ARGMAX * hex-binary: support for scalars in extended buffers * hex-binary: fix wrong indexing for dim 1 broadcasts across dim 2 slices * hex-argsort: fix missing header * h
发布时间：2026-09-27 11:58
抓取时间：2026-09-27 12:50
来源机构：ggml-org