返回全部动态

llama.cpp b10864 发布:修复 checkpoint 驱逐逻辑

原标题:b10864

llama.cpp Releases一手来源产品发布质量 69

AI 摘要

llama.cpp 发布 b10864 版本,修复了 server 中 checkpoint 管理的一个问题:当 checkpoint 列表未满时,不再应用 min-step 驱逐规则,避免短提示词场景下错误删除恢复所需的 checkpoint,从而减少混合/循环模型的重复预填充。该版本同时提供了多平台二进制下载。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server : apply checkpoint min-step eviction only when the checkpoint list is full (#28302) The spacing eviction in create_checkpoint() keeps the oldest checkpoint and erases every later one within checkpoint_min_step of it. For prompts shorter than checkpoint_min_step this drops the checkpoint at n_tokens - 4 that the next request resumes from, so hybrid/recurrent models re-prefill from the previous checkpoint instead. Apply the spacing rule only once the list is at n_ctx_checkp


发布时间:2026-09-08 22:31
抓取时间:2026-09-08 23:08
来源机构:ggml-org
阅读原文github.com