返回全部动态
Red Hat 发布 Qwen3.6-35B-A3B 的 NVFP4 量化版本
原标题：RedHatAI/Qwen3.6-35B-A3B-NVFP4
AI 摘要
Red Hat 发布了基于 Qwen3.6-35B-A3B 的 NVFP4 量化版本模型 RedHatAI/Qwen3.6-35B-A3B-NVFP4，权重和激活均量化为 NVFP4 格式，使用 llm-compressor 工具生成。该模型针对推理和工具调用优化，支持 vLLM 部署，并在多个基准测试中保持了接近原始模型的性能，如 GSM8K 和 GPQA 上恢复率超过 100%。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- library_name: transformers pipeline_tag: image-text-to-text base_model: - Qwen/Qwen3.6-35B-A3B tags: - fp4 - qwen - nvfp4 - vllm - llm-compressor - compressed-tensors name: RedHatAI/Qwen3.6-35B-A3B-NVFP4 provider: Alibaba Cloud description: NVFP4 variant of Qwen 3.6 35B for reasoning and tool calling. readme: https://huggingface.co/RedHatAI/Qwen3.6-35B-A3B-NVFP4/blob/main/README.md tool_calling_supported: true required_cli_args: ['--reasoning-parser qwen3', '--enable-prefix-caching'] default
发布时间：2026-08-13 21:12
抓取时间：2026-08-13 21:13
来源机构：Hugging Face