返回全部动态

llama.cpp v0.8.0 发布:新增 LFM3 系列与实时音频 API

原标题:v0.8.0

llama.cpp Releases一手来源开源质量 82

AI 摘要

llama.cpp 发布 v0.8.0,新增 LiquidAI LFM3 系列(文本、视觉、音频、全模态)支持,并在 mtmd 中引入实验性流式音频 API,同时通过新增的 /v1/realtime 和 /tts 端点实现服务器端实时音频输入输出。该版本还新增 DeepSeek V4.1 Flash、SenseNova U1、Granite Switch Decision 等一批模型架构,核心层将稀疏注意力重写到融合掩码算子并引入 50/50 SLRU 缓存,ggml 升级至 v0.28.0 并带来多项后端性能优化。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

## Overview This release adds the LiquidAI LFM3 family (text, vision, audio and omni) together with a new experimental streaming-audio API in `mtmd`, and wires realtime audio in and out of the server through the new `/v1/realtime` and `/tts` endpoints. A batch of new architectures landed: DeepSeek V4.1 Flash, SenseNova U1, Beam, Kolibri-1, Flint, Muse Spark, Granite Switch Decision, plus decision/embedding models from LiquidAI, Baidu and NVIDIA. The core got sparse-attention (QSA/DSA) reworke


发布时间:2026-10-28 20:47
抓取时间:2026-10-28 21:49
来源机构:ggml-org
阅读原文github.com