ISTA-DASLab 发布 Qwen3.8-Flash-Next 非均匀 GGUF 量化版
原标题：ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
AI 摘要
ISTA-DASLab 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本，采用 GSQ 与 RCO 两种方法实现非均匀量化，为每个张量分配不同量化类型。该模型为 512 专家的稀疏 MoE 架构，提供四种尺寸（2.40 至 3.50 bpw），并附带视觉投影器支持多模态。量化文件可在 llama.cpp、Ollama 和 LM Studio 中直接运行，其中 Q2_0 版本相比 IQ2_XS 提示吞吐量提升 3.4 倍、端到端延迟降低 1.9 倍。
正文节选
--- base_model: Qwen/Qwen3.8-Flash-Next base_model_relation: quantized pipeline_tag: image-text-to-text library_name: gguf license: apache-2.0 tags: - gguf - gsq - rco - quantization - mixed-precision - ist-daslab - moe - multimodal - vision --- <!-- GSQ-RCO GGUF release card for Qwen3.8-Flash-Next. Mirrors the Qwen3.8-27B card. NB: the YAML block must remain the very first bytes of the file (HF requirement). --> <div align="center"> <a href="https://github.com/IST-DAS