返回全部动态

llama.cpp v0.6.0 发布:新增扩展批处理 API 与多款模型支持

原标题:v0.6.0

llama.cpp Releases一手来源开源质量 88

AI 摘要

llama.cpp 发布 v0.6.0,引入新的 llama_batch_ext 扩展批处理 API(含 llama_process),支持混合 token/embedding 输入及 MTP/deepstack 状态嵌入。新增 GLM-5.3-Flash(320B 文本+视觉混合模型)、Clef 决策模型及 Qwen4Exp 的 MTP 推测解码支持,并新增 /v1/systemone 决策模型服务端 API。同时为 Metal 加入 F16 KV 的 flash attention 内核、Vulkan 量化 K/V 稀疏 flash attention,并将 ggml 升级至 v0.26.0。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

## Overview llama.cpp v0.6.0 introduces the new `llama_batch_ext` extended batch API (with `llama_process`) for mixed token/embedding inputs and MTP/deepstack state embeddings, adds support for the GLM-5.3-Flash (GLM5-Next) 320B hybrid model, the Clef decision model (text and vision) and MTP speculative decoding for Qwen4Exp, ships a new `/v1/systemone` server API for decision models (laya, julia-1, lev, openjev, kev, nimble), overhauls the Web UI with a Hugging Face Hub data layer and model


发布时间:2026-10-06 00:56
抓取时间:2026-10-06 01:28
来源机构:ggml-org
阅读原文github.com