DeepSeek-V4.1-Flash-1017 的 Maya GGUF 量化版发布
原标题:peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF
AI 摘要
开发者 peasantsmith 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本(Maya-S 与 Maya-XS),专为 Project Maya 推理引擎设计,通过将高频专家保留在 GPU、其余专家从内存和 SSD 读取,使模型可在 128GB 内存的 PC 上运行。两个量化版本均基于 DeepSeek 官方权重(FP4 专家、FP8 稠密权重)制作,Maya-S 与原始模型 top token 一致率为 92.6%,Maya-XS 为 87.5%。
正文节选
--- license: mit base_model: deepseek-ai/DeepSeek-V4.1-Flash-1017 base_model_relation: quantized pipeline_tag: text-generation quantized_by: peasantsmith tags: - gguf - imatrix - mixture-of-experts - deepseek - project-maya --- # DeepSeek-V4.1-Flash-1017 · Maya GGUF GGUF quantizations of [deepseek-ai/DeepSeek-V4.1-Flash-1017](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017) (a mixture of experts: 384 routed experts per layer, 6 active per token, plus a shared expert), mad