返回全部动态

llama.cpp b12048:Intel Arc SYCL 通信优化提速 19%

原标题:b12048

llama.cpp Releases一手来源开源质量 69

AI 摘要

llama.cpp 发布 b12048 版本,主要针对 Intel Arc Pro B70 显卡优化 SYCL 后端的 ggml_sycl_comm_exchange() 通信交换函数。改动将 -sm 张量提示词评估速度提升 19% 且困惑度(PPL)不变,并用 ext_oneapi_submit_barrier() 替换 wait() 调用以修复 MTP 性能退化,同时按 SYCL_ENABLE_DEFAULT_CONTEXTS=1 在初始化阶段切换 2/4 缓冲区版本。该优化暂排除 Windows 平台,待验证后再启用。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sycl : fast ggml_sycl_comm_exchange() on Intel Arc Pro B70s (#30956) * Update ggml-sycl.cpp Increases -sm tensor prompt eval t/s by +19% with zero PPL change. * Update ggml-sycl.cpp Replace first pair of wait() calls with ext_oneapi_submit_barrier(). The wait() calls was discovered to cause MTP degradation. * Update ggml-sycl.cpp Adding comm_exchange function pointer to switch between 2 and 4 buffer ggml_sycl_comm_exchange versions @ initialization time (versus hot path)


发布时间:2026-11-03 00:10
抓取时间:2026-11-03 00:36
来源机构:ggml-org
阅读原文github.com