kindlingai 发布 DeepSeek-V4.1-Flash 的 exlr8 多精度量化权重
原标题：kindlingai/deepseek-v4.1-flash-exlr8
AI 摘要
Hugging Face 用户 kindlingai 发布了 deepseek-v4.1-flash-exlr8，这是对 DeepSeek-V4.1-Flash-1017 官方权重的重新打包版本，采用 exlr8 v2 文件布局，并为第 0-7 层及第 38-39 层的专家权重额外提供 4-bit、3-bit、2-bit 的 trellis 量化编码。仓库通过 k3、k4、native 三种 manifest 让用户按需选择加载精度，k3 需读取 425 GB、k4 需读取 506 GB，同时保留官方 MXFP4/FP8 权重以便一次下载满足多种配置。该仓库还按张量并行度切分索引，支持通过 HTTP range 请求只拉取本机所需分片，但 trellis 层的推理引擎支持仍在 kindlingai/gr8 中开发。
正文节选
--- license: mit base_model: kindlingai/deepseek-v4.1-flash-exlr8-native base_model_relation: finetune tags: - moe - mxfp4 - fp8 - tensor-parallel - exlr8 - trellis --- # DeepSeek-V4.1-Flash-1017 · exlr8 > Manifests: `k3` loads every main layer's experts at 3 bits (425 GB of weights, or 222 GB with the Engram tables > read from disk, sized for two GB10 boxes). `k4` loads 4 bits where a layer has a 4-bit encode (layers 0-7 and 38-39) > and the official weights elsewhere (506 GB). `native` loads