返回全部动态
llama.cpp b11374：ggml-openvino 更新至 2026.4.1 并优化 MoE 性能
原标题：b11374
AI 摘要
llama.cpp 发布 b11374 版本，主要更新 ggml-openvino 后端至 2026.4.1，优化性能、扩展算子并改进设备枚举。更新包含针对 Qwen3.5 MoE 的性能优化、MoE 路由与 GDN 归一化融合、编译模型缓存导入模式，以及为 gemma-4 融合 gate_up 权重的 MoE 专家实现。在 Arc B390 上，gemma-4-26B-A4B 的 pp512 从 66.16 t/s 提升至 1608.73 t/s，困惑度基本不变。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml-openvino: update to 2026.4.1, optimize performance, expand ops, improve device listing. (#29852) * ggml-openvino : Qwen3.5 MoE perf (#312) Squash of ravi9/llama.cpp#312: - ggml-openvino: add detailed inference profiling (Yu, Zijun) - ggml-openvino: use remote output tensors by default (Yu, Zijun) - ggml-openvino: optimize single-sequence recurrent state (Yu, Zijun) - opt1: remove recurrent reset for single sequence, opt2: direct gdn outputs (break parallel sequence) (Yu,
发布时间：2026-10-03 19:51
抓取时间：2026-10-03 20:50
来源机构：ggml-org