返回全部动态

llama.cpp b11203:CUDA FWHT 新增 F16 输入支持

原标题:b11203

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11203 版本,主要变更为 CUDA 后端的 FWHT(快速沃尔什-哈达玛变换)内核新增 F16 输入支持。该改动将源数据类型改为模板参数,使内核可直接读取 F16 源而无需先转换为 F32 副本,原有 F32 路径保持不变。同时引入共享谓词 ggml_cuda_op_mul_mat_use_fwht,统一 supports_op 与调度逻辑,避免类型检查与形状断言之间的不一致。在 A10 上运行 test-backend-ops,MUL_MAT 全部 1297 项通过,含 24 个 Hadamard 用例。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> cuda: add F16 input to the FWHT (#29096) * cuda: add F16 input to the FWHT The CUDA FWHT accepts F32 input only. This makes the source type a template parameter, so the kernel reads an F16 source directly instead of requiring a converted copy. The F32 path is unchanged. supports_op accepts an F16 src1 against an F32 src0 for the Hadamard hint. Every other F16 src1 against a non-F16 src0 is still refused. ggml_cuda_op_mul_mat_use_fwht is the single predicate both supports_op a


发布时间:2026-09-27 04:34
抓取时间:2026-09-27 04:38
来源机构:ggml-org
阅读原文github.com