返回全部动态

llama.cpp b11718:FFN 路径恢复 ESIMD 内核并扩展 Q8_0 融合

原标题:b11718

llama.cpp Releases一手来源开源质量 62

AI 摘要

llama.cpp 发布 b11718 版本,由 Intel 工程师 Todd Malsbary 提交的 PR #30239 在 FFN 路径上恢复并重新启用了 ESIMD 内核,同时将 ESIMD 融合扩展到 Q8_0 量化格式,并清理了 test-backend-ops 中显式引用 ESIMD 的注释。该改动主要提升 Intel GPU 上前馈网络推理的算子融合与量化支持,版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、SYCL、ROCm 等后端的预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> Restore ESIMD kernels on FFN path (#30239) * Reenable ESIMD on the FFN path Signed-off-by: Todd Malsbary <todd.malsbary@intel.com> * Extend ESIMD fusion on FFN path to include Q8_0 Signed-off-by: Todd Malsbary <todd.malsbary@intel.com> * Remove comment explicitly referencing ESIMD in test-backend-ops Signed-off-by: Todd Malsbary <todd.malsbary@intel.com> --------- Signed-off-by: Todd Malsbary <todd.malsbary@intel.com> </details> **Website:** - <https://llama.app> **Att


发布时间:2026-10-18 12:42
抓取时间:2026-10-18 12:50
来源机构:ggml-org
阅读原文github.com