返回全部动态

llama.cpp b11944:服务器暴露聊天模板推理努力等级

原标题:b11944

llama.cpp Releases一手来源开源质量 67

AI 摘要

llama.cpp 发布 b11944 版本,服务器端新增暴露聊天模板的推理努力等级(reasoning effort levels)能力。该功能通过能力探测为 minimal、low、medium、high、xhigh、max 等候选等级渲染用户轮次,能正常渲染且与未知等级渲染结果不同的等级才被采纳,渲染相同的等级视为别名并保留最高者。这些等级序列化为 JSON,并通过 /props 中的 chat_template_caps 以 reasoning_effort_levels 字段从低到高报告。同时 jinja 模块保持不依赖 json,由 common_chat_templates_get_caps() 组装服务器上报的 JSON。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server: expose the reasoning effort levels of the chat template (#31271) * server: expose the reasoning effort levels of the chat template The capability probe renders a user turn for each candidate level (minimal, low, medium, high, xhigh, max) and for an unknown level. A level is honored when it renders without raising and differently from the unknown level, which shows the template fallback. Levels sharing a render are aliases and the highest one is kept. The caps serialize


发布时间:2026-10-28 09:24
抓取时间:2026-10-28 10:02
来源机构:ggml-org
阅读原文github.com