返回全部动态

Qwen3.8-Flash-Next Coder cut240:48GB Mac 的 MLX 部署

原标题:Schiltmans/Qwen3.8-Flash-Next-Coder-cut240

Hugging Face New and Trending Models一手来源开源质量 73

AI 摘要

开发者 Schiltmans 在 Hugging Face 发布了 Qwen3.8-Flash-Next-Coder-cut240,这是一个面向 48GB Apple Silicon Mac 的 MLX 部署方案。该方案基于 ISTA-DASLab 的 IQ1_M Coder GGUF,从 12,288 个路由专家中移除 768 个(每层平均保留 240 个),并通过 TensorFold 分支以 OpenAI 兼容端点形式提供编码智能体服务。其特性包括默认开启的 MTP 草稿解码(吞吐提升 1.11-1.50 倍)、可选的 SSD 流式加载(内存占用从 32GB 降至 12-17GB,但解码速度降至 2.6-4.8 tok/s),以及 65536 token 上下文窗口支持。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- license: other license_name: qwen-community-1.0 license_link: LICENSE base_model: ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF pipeline_tag: text-generation tags: - gguf - moe - expert-pruning - apple-silicon - code --- # Qwen3.8-Flash-Next Coder cut240 for MLX on 48 GB Macs ISTA-DASLab's IQ1_M Coder GGUF of Qwen3.8-Flash-Next ([ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF) at 5348543e) with 768 o


发布时间:2026-10-30 21:10
抓取时间:2026-10-21 16:04
来源机构:Hugging Face
阅读原文huggingface.co