返回全部动态

llama.cpp b11780 为 server 新增实时转录 API

原标题:b11780

llama.cpp Releases一手来源API 更新质量 73

AI 摘要

llama.cpp 发布 b11780 版本,其 server 组件新增实时转录 API(realtime transcription API),支持 WebSocket 代理与 API key 中间件在握手阶段鉴权。该实现按 Realtime 规范调整了会话对象结构(GA transcription session shape)、音频缓冲区提交事件顺序,并修复了实时槽位占用导致其他请求饥饿的调度问题。此次更新使 llama.cpp 本地推理服务具备流式语音转录能力。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server: add realtime transcription API (#30636) * server: add realtime transcription API * drop transcription_sessions * proxy ws * add docs * server: let the API key middleware guard the websocket httplib runs the pre-routing handler before the websocket upgrade, so the API key middleware answers 401 at handshake like any other route. This covers the router proxy, whose children run keyless, and accepts the same key forms as HTTP (Bearer, raw key, X-Api-Key). * server: ke


发布时间:2026-10-21 12:11
抓取时间:2026-10-21 13:13
来源机构:ggml-org
阅读原文github.com