返回全部动态
llama.cpp b10431 发布：ggml_ssm_scan 支持循环状态回滚
原标题：b10431
AI 摘要
llama.cpp 发布 b10431 版本，主要更新为 ggml_ssm_scan 支持循环状态回滚（recurrent state rollback），并支持 K>1 的情况，覆盖 CPU 和 CUDA 后端。该功能有助于提升状态空间模型（如 Nemotron）在推理时的效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml : recurrent state rollback for ggml_ssm_scan (#26623) * Initial changes for Recurrent state rollback for nemotron for cpu and cuda * Removing CPU RS rollback. Will enable it in subsequent PRs * addition of test case * Removing assert and calling runtime API to check if op is supported * removing extra API and updating the call sites for K * replace static cuda detection to runtime fused_op api * address review comments and fallback when SSM rollback not supprted * Ad
发布时间：2026-08-15 01:42
抓取时间：2026-08-15 02:06
来源机构：ggml-org