llama.cpp b11930：server 新增动态卸载模型的内存余量参数

AI 摘要

llama.cpp 发布 b11930 版本，其 server 组件新增 --models-memory-max 参数，允许在模型超出内存阈值时动态卸载模型，并按设备分别应用内存余量。该改动还修复了测量子进程内存核算与排队加载在内存受限时的自旋重试问题。此次更新提升了多模型服务场景下的显存/内存管理能力。

正文节选

<details open> server: add router device memory margin parameter for dynamic unloading (#21231) * server: add --models-memory-max parameter to allow dynamically unloading models when they exceed a memory size threshold estimate with to-be-loaded model size included use no_alloc to get memory requirements for model load only set model memory_mb if not previously calculated use memory margin instead of total size limit, apply to each device separately add server memory debug logging move l

发布时间：2026-10-27 21:42

抓取时间：2026-10-27 21:54

来源机构：ggml-org