返回全部动态
Qwen3.8-27B 的 W4A16 AutoRound 量化版本发布
原标题：Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ
AI 摘要
用户 Vishva007 在 Hugging Face 发布了 Qwen3.8-27B 的 W4A16 量化版本，使用 Intel AutoRound 算法生成，组大小为 64，视觉塔与 MTP 层保留 BF16 精度。量化后显存需求从约 54GB 降至 16–18GB，可在单张 24GB 消费级显卡上运行，并支持通过 vLLM 部署。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: apache-2.0 base_model: Qwen/Qwen3.8-27B tags: - quantization - auto-round - gptq - vlm - 4bit - text-generation - image-text-to-text pipeline_tag: image-text-to-text --- # Qwen3.8-27B (W4A16 Quantized via AutoRound) This repository contains a **W4A16 (4-bit weights, 16-bit activations)** quantized version of [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B) generated using Intel's [AutoRound](https://github.com/intel/auto-round) algorithm. --- ## ⚡ Quantization Details
发布时间：2026-11-08 01:59
抓取时间：2026-11-08 02:01
来源机构：Hugging Face