返回全部动态

vLLM 发布 v0.32.0:新增结构化决策端点与低精度 KV cache

原标题:v0.32.0

vLLM Releases一手来源开源质量 85

AI 摘要

vLLM 发布 v0.32.0,包含来自 363 位贡献者的 814 次提交。该版本新增 POST /v1/systemone 结构化决策端点与通用 hf 工具/推理解析器,将低精度 KV cache 扩展至 NVFP4、FP8 等多种硬件平台,并推出 Model Runner V2 的多项能力。同时修复三个 GHSA 安全漏洞,并包含移除 Python 3.10 支持、限制默认 CORS 来源等破坏性变更。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# v0.32.0 ## Highlights This release features 814 commits from 363 contributors (121 new)! * **Structured decisions and generic parsers**: the new `POST /v1/systemone` endpoint answers `choice`, `noul` and `score` questions over a structured state (#59299), is served by default (#60677, #60696), and also runs on `Cloudflare/clef-omni` (#61064), `LiquidAI/d1-3B` (#60676) and DiffusionGemma (#60466). The new `hf` tool and reasoning parser (`--tool-call-parser hf`, `--reasoning-parser hf`)


发布时间:2026-10-18 14:50
抓取时间:2026-10-18 15:00
来源机构:vLLM
阅读原文github.com