ISTA-DASLab发布DeepSeek-V4.1-Flash-1017 GSQ-RCO GGUF量化版
原标题:ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
AI 摘要
奥地利ISTA的DASLab团队发布了DeepSeek-V4.1-Flash-1017的GGUF非均匀量化版本,采用GSQ(Gumbel-Softmax量化)与RCO(黎曼约束优化)方法,按张量敏感度分配精度。该模型为763B参数、384专家的MoE,提供IQ1_M、IQ2_XXS、IQ2_XS三种规格,其中IQ2_XXS在AIME25、GPQA-Diamond和LiveCodeBench v6上达到基座模型100%的任务平均表现。借助Strata,所有版本可在单张12GB显存GPU上运行。
正文节选
--- base_model: deepseek-ai/DeepSeek-V4.1-Flash-1017 base_model_relation: quantized pipeline_tag: text-generation library_name: gguf license: mit tags: - gguf - gsq - rco - quantization - mixed-precision - ist-daslab - moe - deepseek --- <div align="center"> <a href="https://github.com/IST-DASLab"><img src="assets/banner.webp" alt="DeepSeek-V4.1-Flash-1017, GSQ-RCO dynamic non-uniform GGUF" width="100%"/></a> <br/> # DeepSeek-V4.1-Flash-1017 · GSQ-RCO GGUFs **Non-unif