返回全部动态
llama.cpp b10413 发布：自动检测草稿模型 spec 类型
原标题：b10413
AI 摘要
llama.cpp 发布 b10413 版本，主要更新为自动检测草稿模型的 spec 类型。当使用 -md 加载本地草稿模型且未指定 --spec-type 时，系统会从 GGUF 元数据中读取架构信息，自动识别 draft-dspark 或 draft-dflash 类型，从而启用投机解码。该功能已移至 speculative 模块，并增加了日志输出。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> common : auto-detect spec type from draft GGUF metadata (#26814) * common : auto-detect spec type from draft GGUF metadata When -md loads a local draft model without --spec-type, the sidecar inference in common_models_handler_apply only checks HF repo sidecars and misses local files. The draft model loads into VRAM but speculative decoding never activates (types stays NONE). Read general.architecture from the draft GGUF header and map: dflash + markov_w1.weight tensor -> dra
发布时间：2026-08-14 01:58
抓取时间：2026-08-14 02:14
来源机构：ggml-org