返回全部动态

llama.cpp b11528:修复 meta 后端主机张量视图断言

原标题:b11528

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11528 版本,主要修复了 meta 后端在处理主机内存张量视图时的断言问题:ggml-alloc 不会为视图单独分配缓冲区,而 meta 后端此前会在遇到这类节点时崩溃,该改动同时泛化了此前的 s_copy_main 变通方案,修复了使用 --split-mode tensor 配合部分 offload 时 KV cache 视图触发的断言。此外还重新启用了 K2 Horizon 的 sm tensor 架构支持,并补充了 TODO 与引用。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> meta : handle host views (#30217) * meta : handle views of tensors allocated on the host A view shares the memory of its view_src, so ggml-alloc never allocates a view in the buffer of the split it lands in - the scheduler copies the source into the split and the ops that use the view read that copy. The view node itself is a noop and does not need a split of its own, but the meta backend asserted when one was left inside a meta split: - ggml_backend_meta_get_split_state() d


发布时间:2026-10-09 22:53
抓取时间:2026-10-09 23:15
来源机构:ggml-org
阅读原文github.com