llama.cpp b10750 发布：KV 缓存查找优化提升生成速度

AI 摘要

llama.cpp 发布 b10750 版本，优化了 KV 缓存中 n-gram 历史的查找方式，通过序列位置索引直接查询，替代了原先每次重建哈希表的方法。该优化在 Qwen3.8-Flash-Next 模型上测得文本生成速度提升 4.9%，预填充速度不变，输出结果保持一致。

正文节选

<details open> kv-cells: look up the n-gram history in the sequence position index (#28040) get_prev_tokens() rebuilt a (seq, pos) -> token hash map on every ubatch by walking all used cells, while llama_kv_cells already keeps an ordered index of the positions of each sequence in seq_pos, updated on every cell mutation to serve seq_pos_min() and seq_pos_max(). The index now stores (pos, cell) pairs in a std::set instead of a position -> count map, so a repeated position (cache reuse via rm +

发布时间：2026-09-02 03:21

抓取时间：2026-09-02 04:19

来源机构：ggml-org