返回全部动态

llama.cpp b11795:/v1/messages 支持转发采样参数

原标题:b11795

llama.cpp Releases一手来源开源质量 62

AI 摘要

llama.cpp 发布 b11795 版本,主要改动在 server 端:/v1/messages 接口现在会转发 llama.cpp 的采样参数,并支持通过 extra_params 传入这些参数,同时改为直接透传请求而非复制指定字段。该版本还提供了覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server : forward llama.cpp sampling params on /v1/messages (#30856) * server : forward llama.cpp sampling params on /v1/messages * server : pass the request through on /v1/messages instead of copying listed keys * NIT: Change comment from multiline to single line * server : accept llama.cpp params under extra_params on /v1/messages * server : remove test case for trivial functionality * server : show extra_params in the /v1/messages README example </details> **Website:**


发布时间:2026-10-21 20:16
抓取时间:2026-10-21 20:54
来源机构:ggml-org
阅读原文github.com