返回全部动态
TGI v3.3.2 发布：新增 Qwen3 支持并修复 Gaudi 问题
原标题：v3.3.2
AI 摘要
Text Generation Inference 发布 v3.3.2 版本，主要改进包括升级 vllm 扩展操作、切换到 hf-nix、新增 Qwen3 支持、fp8 compressed_tensors w8a8 支持，并修复了 Llama-4-Scout 和 Llama-4-Maverick 在 Gaudi 上的 OOM 和崩溃问题。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
Gaudi improvements. ## What's Changed * upgrade to new vllm extension ops(fix issue in exponential bucketing) by @sywangyi in https://github.com/huggingface/text-generation-inference/pull/3239 * Nix: switch to hf-nix by @danieldk in https://github.com/huggingface/text-generation-inference/pull/3240 * Add Qwen3 by @yuanwu2017 in https://github.com/huggingface/text-generation-inference/pull/3229 * fp8 compressed_tensors w8a8 support by @sywangyi in https://github.com/huggingface/text-genera
发布时间：2025-05-30 22:20
抓取时间：2026-08-02 00:31
来源机构：Hugging Face