返回全部动态
Text Generation Inference v3.3.5 发布，优化 Gaudi 支持
原标题：v3.3.5
AI 摘要
Hugging Face 发布了文本生成推理库 Text Generation Inference 的 v3.3.5 版本。该版本主要针对 Gaudi 硬件进行了多项优化，包括改进 rope 内存管理、支持 Gemma3 滑动窗口、Deepseek v2 MLA 等，并增加了 XPU 的 LoRA 支持、更新了 Optimum Neuron 依赖，同时修复了多个问题。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
## What's Changed * [gaudi] Refine rope memory, do not need to keep sin/cos cache per layer by @sywangyi in https://github.com/huggingface/text-generation-inference/pull/3274 * Gaudi: add CI by @baptistecolle in https://github.com/huggingface/text-generation-inference/pull/3160 * [gaudi] Gemma3 sliding window support by @sywangyi in https://github.com/huggingface/text-generation-inference/pull/3280 * xpu lora support by @sywangyi in https://github.com/huggingface/text-generation-inference/pu
发布时间：2025-09-02 23:02
抓取时间：2026-08-02 00:31
来源机构：Hugging Face