返回全部动态

llama.cpp b11435:修复共享序列 k-pool 数据竞争

原标题:b11435

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11435 版本,修复了共享序列场景下 k-pool scatter 的数据竞争问题。改动包括:对每个共享 k-pool rep 只标记一次以避免 CPU 后端数据竞争;在混合索引内存中拒绝部分范围的 seq_cp,只支持整序列复制;移除 k-pool 的 cache_safe 模式,简化 seq_rm、state_read 和 state_drop 中的陈旧处理逻辑。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama: fix k-pool scatter data race on shared sequences (#29994) * llama: re-pool each shared k-pool rep once With shared cells every pool is re-pooled, and since the pooled keys are always scattered, the pools a seq_cp shares between sequences wrote the same rep row from several scatter entries, a data race on the CPU backend. Mark each rep once: the sharing sequences read the same row through pool_cells. * llama: assert whole-sequence seq_cp in the hybrid idx memory The rec


发布时间:2026-10-06 14:16
抓取时间:2026-10-06 15:02
来源机构:ggml-org
阅读原文github.com