返回全部动态
Red Hat AI 发布 Qwen3.8-27B INT4 量化模型
原标题：RedHatAI/Qwen3.8-27B-INT4
AI 摘要
Red Hat AI 发布了 Qwen3.8-27B 的 INT4 量化版本 RedHatAI/Qwen3.8-27B-INT4，基于 Qwen/Qwen3.8-27B 模型，使用 LLM Compressor 和 GPTQ/AWQ 技术进行量化，支持 vLLM 推理。该模型在多项评测中表现接近原始 BF16 模型，部分任务甚至略有提升，如 GSM8K 和 AIME25。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- base_model: - Qwen/Qwen3.8-27B tags: - vllm - llm-compressor - qwen3_5 - compressed-tensors - int4 - conversational license: apache-2.0 pipeline_tag: image-text-to-text library_name: transformers --- # RedHatAI/Qwen3.8-27B-INT4 This model is a quantized version of [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B). ### Model Optimizations This model was obtained by quantizing the weights of [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B) to int4, ready for inference
发布时间：2026-09-07 07:16
抓取时间：2026-09-07 07:17
来源机构：Hugging Face