AMAImedia 发布 DeepSeek-V4.1-Flash FP8 GGUF 量化版
原标题:AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF
AI 摘要
AMAImedia 在 Hugging Face 上发布了 DeepSeek-V4.1-Flash 的 FP8 GGUF 量化版本,基于 deepseek-ai/DeepSeek-V4.1-Flash 原始模型。该模型为 552B 参数的多模态 MoE 架构,支持百万级上下文,采用 Causal Encoder-Decoder 架构与 CSA2 稀疏注意力,将持久 KV 缓存压缩至约 1/8。该量化版本面向本地部署,发布者称 9B 以上模型量化需租用 H200/Blackwell 硬件。
正文节选
--- license: apache-2.0 library_name: transformers pipeline_tag: image-text-to-text language: - en - ru - zh - vi - kk - ja - af - am - ar - as - ast - az - be - bg - bn - bs - ca - ceb - ckb - cs - cy - da - de - el - es - et - eu - fa - ff - fi - fil - fr - ga - gl - gn - gu - ha - he - hi - hr - hu - hy - id - ig - is - it - jv - ka - kam - kea - km - kmr - kn - ko - ky - lb - lg - ln - lo - lt - luo - lv - mi - mk - ml - mn - mr - ms - mt - mvy - my - ne - nl - 'no' - nso - ny - oc - om - or