llama.cpp v0.6.0 发布:新增扩展批处理 API 与多款模型支持
原标题:v0.6.0
AI 摘要
llama.cpp 发布 v0.6.0,引入新的 llama_batch_ext 扩展批处理 API(含 llama_process),支持混合 token/embedding 输入及 MTP/deepstack 状态嵌入。新增 GLM-5.3-Flash(320B 文本+视觉混合模型)、Clef 决策模型及 Qwen4Exp 的 MTP 推测解码支持,并新增 /v1/systemone 决策模型服务端 API。同时为 Metal 加入 F16 KV 的 flash attention 内核、Vulkan 量化 K/V 稀疏 flash attention,并将 ggml 升级至 v0.26.0。
正文节选
## Overview llama.cpp v0.6.0 introduces the new `llama_batch_ext` extended batch API (with `llama_process`) for mixed token/embedding inputs and MTP/deepstack state embeddings, adds support for the GLM-5.3-Flash (GLM5-Next) 320B hybrid model, the Clef decision model (text and vision) and MTP speculative decoding for Qwen4Exp, ships a new `/v1/systemone` server API for decision models (laya, julia-1, lev, openjev, kev, nimble), overhauls the Web UI with a Hugging Face Hub data layer and model