cyankiwi 发布 Qwen3-Omni-30B-A3B 的 AWQ 4bit 量化版

AI 摘要

cyankiwi 在 Hugging Face 发布了 Qwen3-Omni-30B-A3B-Instruct 的 AWQ 4bit 量化版本，基于 llm-compressor 工具并使用 nvidia/Llama-Nemotron-Post-Training-Dataset 进行校准，模型体积约 27.55 GB。该模型继承 Qwen3-Omni 原生端到端多模态能力，支持文本、图像、音频、视频输入及实时流式文本与语音输出，采用 MoE 的 Thinker–Talker 架构。量化版本降低了部署门槛，便于在私有端点运行这一多模态基座模型。

正文节选

--- base_model: Qwen/Qwen3-Omni-30B-A3B-Instruct base_model_relation: quantized language: - en library_name: transformers license: other license_name: apache-2.0 pipeline_tag: any-to-any tags: - multimodal --- <div align="left"> <a href="https://cyan.kiwi" target="_blank"><img src="https://storage.googleapis.com/cyankiwi-assets/model-card/model-card-banners-cyankiwi.png" width="800" alt="cyankiwi, the LLM inference agent for open models"></a> </div> <div align="left"> <table style="border-

发布时间：2026-11-01 05:37

抓取时间：2026-11-01 05:41

来源机构：Hugging Face