MiniMax-M3.1-Flash GGUF 量化版发布，4270 亿参数模型可在普通 PC 运行
原标题：LyJonathan/MiniMax-M3.1-Flash-GGUF
AI 摘要
开发者 LyJonathan 在 Hugging Face 发布了 MiniMax-M3.1-Flash 的 GGUF 量化版本，并配套自研推理引擎 Sparsa，使这个 4270 亿参数的 MoE 模型能在普通 PC 上运行。其中 124.5 GB 的 IQ2_XXS 档位可在两张 16 GB 显卡加 121 GB DDR4 内存的配置上运行，提示处理速度达 245 tokens/s。多数量化档位无法在原生 llama.cpp、LM Studio 或 Ollama 中加载，且 1-bit 档位质量明显退化。
正文节选
--- base_model: MiniMaxAI/MiniMax-M3.1-Flash license: other license_name: minimax-community license_link: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash/blob/main/LICENSE tags: - gguf - minimax - minimax-m3 - mixture-of-experts - sparsa - experimental --- # MiniMax-M3.1-Flash GGUF **A 427-billion-parameter model on a normal PC.** With [Sparsa](https://github.com/LyJonathan/Sparsa), the 124.5 GB `IQ2_XXS` tier runs on two 16 GB cards (RTX 4060 Ti + RTX 5060 Ti) with a Ryzen 9 5900X and 121