返回全部动态
TGI v3.3.1 发布：升级 Torch 2.7 并支持 Llama4 与 DeepSeek R1
原标题：v3.3.1
AI 摘要
Hugging Face 发布了文本生成推理库 TGI 的 v3.3.1 版本，主要更新包括升级到 Torch 2.7 和 CUDA 12.8，并针对 HPU 后端优化了预热逻辑，支持 Llama4 和 DeepSeek R1 模型，同时修复了 GPU UUID 计数和默认注意力路径崩溃等问题。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
This release updates TGI to Torch 2.7 and CUDA 12.8. ## What's Changed * change HPU warmup logic: seq length should be with exponential growth by @kaixuanliu in https://github.com/huggingface/text-generation-inference/pull/3217 * adjust the `round_up_seq` logic to align with prefill warmup phase on… by @kaixuanliu in https://github.com/huggingface/text-generation-inference/pull/3224 * Update to Torch 2.7.0 by @danieldk in https://github.com/huggingface/text-generation-inference/pull/3221
发布时间：2025-05-22 15:49
抓取时间：2026-08-02 00:31
来源机构：Hugging Face