返回全部动态

llama.cpp b10978:Metal 新增支持 MiniCPM3 的 FA 内核

原标题:b10978

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b10978 版本,为 Metal 后端新增了 HSK=96、HSV=64 的 Flash Attention 内核,以支持 MiniCPM3 模型。此前 MiniCPM3 将 attention.key_length 设为 96 且 value_length 默认为 64,Metal 缺少 (96,64) 实例化导致 -fa auto 因找不到对应内核而中止。该改动为已有 (96,96) 的各类 K/V 类型实例化 (96,64) tile 内核,并为 NE=4 配置添加 vec 内核,同时调整测试避免冗余的 FA vec 切片覆盖。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : add FA kernels for HSK=96, HSV=64 (MiniCPM3) (#28599) * metal : add FA kernels for HSK=96, HSV=64 (MiniCPM3) MiniCPM3 sets attention.key_length to 96 and does not set attention.value_length, which defaults to n_embd / n_head = 64. Metal had no (96, 64) instantiation, so -fa auto aborted on the missing kernel_flash_attn_ext_vec_f16_dk96_dv64. Instantiate the tile kernel at (96, 64) for every K/V type that already has (96, 96), and the vec kernel for the NE=4 configurati


发布时间:2026-09-15 18:59
抓取时间:2026-09-15 18:59
来源机构:ggml-org
阅读原文github.com