Jundot 发布 Qwen3.8-Flash-Next 的 MLX 混合精度量化版
原标题:Jundot/Qwen3.8-Flash-Next-oQ4e-mtp
AI 摘要
开发者 Jundot 在 Hugging Face 发布了 Qwen3.8-Flash-Next-oQ4e-mtp,这是对 Qwen/Qwen3.8-Flash-Next 的 MLX 混合精度量化版本,使用 oQ(oMLX v0.7.1)与改进的 oQe 量化方法完成。源模型是 Qwen4 架构的实验性预览,为 125B 参数、6B 激活的 MoE 视觉语言模型,另含 51B n-gram 嵌入和 4B MTP 模块,结合 Gated DeltaNet、Qwen Sparse Attention 与 Gated Residual。量化后完整检查点平均约 4.724 比特/权重,总存储约 99 GiB,便于在 MLX 环境本地部署。
正文节选
--- library_name: mlx license: other license_name: qwen-community-1.0 license_link: LICENSE base_model: Qwen/Qwen3.8-Flash-Next base_model_relation: quantized pipeline_tag: image-text-to-text tags: - mlx - oq - quantized - qwen4_exp - mtp --- # Qwen3.8-Flash-Next-oQ4e-mtp This model was quantized using [oQ](https://github.com/jundot/omlx) (oMLX v0.7.1) mixed-precision quantization with Improved oQe Quantization ([jundot/omlx#4385](https://github.com/jundot/omlx/pull/4385)). A mixed-precision