llama.cpp b10227 发布:新增 Qwen3 专用解析器
llama.cpp 发布 b10227 版本,主要新增了 Qwen3 专用解析器,支持带标签的思维工具解析、工具调用省略及 Qwen3-Coder 的注释处理。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm 等后端。
公司与模型 · 阿里通义千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 04:34
llama.cpp 发布 b10227 版本,主要新增了 Qwen3 专用解析器,支持带标签的思维工具解析、工具调用省略及 Qwen3-Coder 的注释处理。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm 等后端。
Hugging Face 宣布升级 vLLM 的 transformers 建模后端,通过 torch.fx 静态分析和 AST 源码重写,动态应用推理层融合,使 transformers 模型在 vLLM 中达到或超过原生实现的吞吐。在 Qwen3 系列(4B、32B、235B MoE)上验证了性能,用户只需添加 --model-impl transfor
Ollama 发布 v0.32.4 版本,新增对 Apple GPU 上 Laguna 模型的支持(通过 MLX 引擎),并优化了推测解码草稿模型的量化处理。同时修复了 Qwen3 MoE 模型中不同量化专家解码的问题,并提升了打包门控/上投影的速度(在 M5 Max 上提升约 4-9%)。
vLLM 发布 v0.22.0 版本,包含 459 个提交,来自 230 位贡献者。该版本重点提升了 DeepSeek V4 的成熟度,包括新增 NVFP4 融合 MoE 支持、CUDA 图优化和 MTP 投机解码。同时,Model Runner V2 成为 Qwen3 稠密模型的默认选项,并引入了实验性的 Rust 前端。性能方面,批量不变推理通过 Cut
Text Generation Inference 发布 v3.3.2 版本,主要改进包括升级 vllm 扩展操作、切换到 hf-nix、新增 Qwen3 支持、fp8 compressed tensors w8a8 支持,并修复了 Llama-4-Scout 和 Llama-4-Maverick 在 Gaudi 上的 OOM 和崩溃问题。