返回全部动态
llama.cpp b10909:Metal 后端融合表重构与性能修复
原标题:b10909
AI 摘要
llama.cpp 发布 b10909 版本,主要重构 Metal 后端的算子融合机制,将所有可融合模式统一到单张融合表(ggml-metal-fuse.cpp),供图优化器和算子编码器共用。修复了融合模式中输出索引使用相对索引导致 norm/MUL 融合被静默禁用、token 生成性能回退约 5% 的问题。新增 gated_delta_net 与 KV cache 拷贝的融合,并加入融合统计接口与回归测试。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> metal : single-source fusion table + fusion debug rework (#28164) * metal : rework fusion patterns into a single table All fusable op patterns for the Metal backend are now declared once in a fusion table (ggml-metal-fuse.cpp) and consumed by both the graph optimizer (ggml_metal_fuse_max, packing) and the op encoders (ggml_metal_fuse_next, compute). The two phases share the same pattern table plus ggml_can_fuse_subgraph_ext for the structural checks, and differ only in the mode
发布时间:2026-09-11 20:13
抓取时间:2026-09-11 20:25
来源机构:ggml-org