DeepSeek-V4.1-Flash-1017 的 EXL3 2.5bpw 量化版发布
原标题：bertholomus/DeepSeek-V4.1-Flash-1017-EXL3-2.5bpw
AI 摘要
开发者 BertholomusAI 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.5bpw 量化版本，使用 ExLlamaV3 转换，量化后权重约 185GB，可在两台 GB10（DGX Spark 级）节点上通过 TensorFold 张量并行 2 与 RDMA 部署。该版本支持 100 万 token 上下文、16 路并发、图像输入与 DSpark 草稿，并公布了吞吐与质量评测：2.5bpw 相比 4.0bpw 在工具调用等任务上精度损失更大，作者建议对精度要求高的 agent 场景改用 4.0bpw 版本。
正文节选
--- license: mit license_name: mit license_link: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017/blob/main/LICENSE base_model: deepseek-ai/DeepSeek-V4.1-Flash-1017 base_model_relation: quantized library_name: exllamav3 pipeline_tag: image-text-to-text tags: [exl3, deepseek, tensorfold, gb10, dgx-spark] --- # DeepSeek-V4.1-Flash-1017 — EXL3 2.5 bpw EXL3 quant of [deepseek-ai/DeepSeek-V4.1-Flash-1017](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017) (revision `1bae0e10`)