返回全部动态

Xinference 发布 v4.2.0:新增多模型支持与推理缓存优化

原标题:v4.2.0

Xinference Releases一手来源开源质量 74

AI 摘要

Xinference 发布 v4.2.0,新增 Windows 服务重启、Web UI 内检查并安装更新、Worker 控制器会话准入等能力,并扩展对 DeepSeek-V4.1-Flash-1017、Qwen NVFP4/YaRN、MiniMax-H3、Qwen3 实时音频及多款 OCR/TTS 模型的支持。该版本还引入 Xavier 跨引擎前缀缓存共享、多副本权重保留与滚动重载、会话亲和与 agent KV 前缀优先等推理优化,并修复流式读取、嵌入 token 统计等若干问题。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# What's new in 4.2.0 (2026-11-07) These are the changes in inference v4.2.0. ## New features * feat: support service relaunch on Windows by @qinxuye in https://github.com/xorbitsai/inference/pull/5868 * feat: check and install Xinference updates from the Web UI by @qinxuye in https://github.com/xorbitsai/inference/pull/5873 * FEAT: Add optional Worker controller-session admission by @qinxuye in https://github.com/xorbitsai/inference/pull/5901 * feat: add Mooncake Store storage to Xavier LMCache


发布时间:2026-11-07 16:21
抓取时间:2026-11-07 16:44
来源机构:Xorbits
阅读原文github.com