Qwen3.8-Flash-Next Coder cut240:48GB Mac 的 MLX 部署
原标题:Schiltmans/Qwen3.8-Flash-Next-Coder-cut240
AI 摘要
开发者 Schiltmans 在 Hugging Face 发布了 Qwen3.8-Flash-Next-Coder-cut240,这是一个面向 48GB Apple Silicon Mac 的 MLX 部署方案。该方案基于 ISTA-DASLab 的 IQ1_M Coder GGUF,从 12,288 个路由专家中移除 768 个(每层平均保留 240 个),并通过 TensorFold 分支以 OpenAI 兼容端点形式提供编码智能体服务。其特性包括默认开启的 MTP 草稿解码(吞吐提升 1.11-1.50 倍)、可选的 SSD 流式加载(内存占用从 32GB 降至 12-17GB,但解码速度降至 2.6-4.8 tok/s),以及 65536 token 上下文窗口支持。
正文节选
--- license: other license_name: qwen-community-1.0 license_link: LICENSE base_model: ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF pipeline_tag: text-generation tags: - gguf - moe - expert-pruning - apple-silicon - code --- # Qwen3.8-Flash-Next Coder cut240 for MLX on 48 GB Macs ISTA-DASLab's IQ1_M Coder GGUF of Qwen3.8-Flash-Next ([ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF) at 5348543e) with 768 o