Jundot 发布 Qwen3.8-27B 混合精度 MLX 量化版
原标题:Jundot/Qwen3.8-27B-oQ4e-mtp
AI 摘要
开发者 Jundot 在 Hugging Face 发布了 Qwen3.8-27B-oQ4e-mtp,这是对 Qwen/Qwen3.8-27B 的混合精度 MLX 量化版本,使用 oMLX v0.7.1 的 oQ 量化方法,平均约 4.887 bits/weight,完整权重约 15.8 GiB。该模型为 27B 稠密视觉语言模型,基于 Qwen3.5 架构,包含 Gated DeltaNet 与 Gated Attention 混合层、视觉编码器及多 token 预测(MTP)头,原生上下文 262,144 token。2026-10-11 更新后重新量化,代码与英文小说语料的 KL 散度分别下降 18.1% 和 13.8%。
正文节选
--- library_name: mlx license: apache-2.0 base_model: Qwen/Qwen3.8-27B base_model_relation: quantized pipeline_tag: image-text-to-text tags: - mlx - oq - quantized - qwen3_5 - mtp --- # Qwen3.8-27B-oQ4e-mtp > [!NOTE] > **Updated 2026-10-11:** Re-quantized with Improved oQe Quantization. Please re-download if you have an earlier copy. This model was quantized using [oQ](https://github.com/jundot/omlx) (oMLX v0.7.1) mixed-precision quantization with Improved oQe Quantization ([jundot/omlx#4385]