返回全部动态
Qwen3.8-27B INT4 量化模型发布：体积减半，速度提升58%
原标题：devan-carlin/Qwen3.8-27B-int4-AutoRound
AI 摘要
devan-carlin 发布了基于 Qwen3.8-27B 的 INT4 量化模型，使用 Intel AutoRound 方法，模型大小从约 52GB 减至 18GB。在 4 块 Intel Arc Pro B70 GPU 上通过 vLLM 张量并行运行，生成速度达 47.8 tok/s，比 BF16 快 58%，且保持质量一致。该模型支持多模态和 256K 上下文，并附带 vLLM 加载示例及量化细节。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- library_name: vllm license: apache-2.0 base_model: Qwen/Qwen3.8-27B pipeline_tag: image-text-to-text tags: - qwen - int4 - auto-round - quantization - xpu - intel-arc - vllm --- # Qwen3.8-27B INT4 (AutoRound) INT4 quantization of [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B), produced with Intel AutoRound. - **Base model:** Qwen/Qwen3.8-27B (Apache-2.0) - **Quantization:** AutoRound, INT4, group size 128 (w4g128), symmetric, with 16-bit exceptions for `linear_a
发布时间：2026-08-30 11:58
抓取时间：2026-08-30 11:59
来源机构：Hugging Face