cyankiwi 发布 Qwen3.5-9B AWQ-BF16-INT8 量化模型

AI 摘要

cyankiwi 在 Hugging Face 发布了 Qwen3.5-9B 的 AWQ-BF16-INT8 量化版本，基于 Qwen/Qwen3.5-9B 使用 llm-compressor 完成量化，校准数据来自 nvidia/Llama-Nemotron-Post-Training-Dataset，模型体积约 14.14 GB，采用 Apache-2.0 许可。该版本面向图像-文本到文本任务，兼容 Transformers、vLLM、SGLang、KTransformers 等推理框架，可降低部署成本。

正文节选

--- base_model: Qwen/Qwen3.5-9B base_model_relation: quantized library_name: transformers license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen3.5-9B/blob/main/LICENSE pipeline_tag: image-text-to-text --- <div align="left"> <a href="https://cyan.kiwi" target="_blank"><img src="https://storage.googleapis.com/cyankiwi-assets/model-card/model-card-banners-cyankiwi.png" width="800" alt="cyankiwi, the LLM inference agent for open models"></a> </div> <div align="left"> <table style=

发布时间：2026-10-20 00:40

抓取时间：2026-10-20 00:41

来源机构：Hugging Face