返回全部动态
llama.cpp b11534:CUDA 移除 SSM_SCAN 后冗余拷贝
原标题:b11534
AI 摘要
llama.cpp 发布 b11534 版本,主要针对 CUDA 后端进行优化:在 SSM_SCAN 之后移除冗余的 CUDA 拷贝,将更新后状态快照的拷贝融合进循环缓存,并在 K==1(非投机解码)场景下同样移除冗余拷贝。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: Remove redundant CUDA copies after SSM_SCAN (#29807) * CUDA: fuse copy of updated state snapshots into recurrent cache with ssm_scan * CUDA: remove redundant cuda copies with K==1 (non spec-dec) scenario as well </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/54424132> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11534/llama-b11534-bin-macos
发布时间:2026-10-10 02:29
抓取时间:2026-10-10 03:19
来源机构:ggml-org