返回全部动态
AMD 发布 Qwen3.8-27B AWQ INT4 量化模型
原标题：amd/Qwen3.8-27B-Quark-AWQ-INT4-W4A16
AI 摘要
AMD 发布了基于 Qwen3.8-27B 的 INT4 权重量化模型 Qwen3.8-27B-Quark-AWQ-INT4-W4A16，采用 AWQ 算法和 AMD Quark 工具链。该模型在 GSM8K 和 BFCL 等基准测试中性能接近 BF16 基础模型，恢复率达 95% 以上。模型支持 vLLM 推理，并提供了详细的评估和量化命令。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- base_model: Qwen/Qwen3.8-27B license: apache-2.0 library_name: transformers pipeline_tag: image-text-to-text tags: - quark - amd - quantization - int4 - awq - w4a16 --- # Qwen3.8-27B-Quark-AWQ-INT4-W4A16 INT4 weight-only (W4A16) quantized version of [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B), produced with the **AWQ** algorithm using [AMD Quark](https://github.com/amd/Quark). - **Weights:** INT4, group size 128 - **Activations:** BF16 (unquantized) - **Algor
发布时间：2026-08-29 06:40
抓取时间：2026-08-29 06:42
来源机构：Hugging Face