返回全部动态

Lucebox 发布 DeepSeek V4.1 Flash ROCMFP 量化 GGUF

原标题:Lucebox/DeepSeek-V4.1-Flash-ROCMFP23-GGUF

Hugging Face New and Trending Models一手来源模型发布质量 80

AI 摘要

Lucebox 发布了针对其 DS4.1 引擎(AMD R9700 + Strix Halo)的 DeepSeek V4.1 Flash 量化版本,采用 ROCMFP 块格式,将路由专家量化为 fp2/fp3,注意力、共享专家和 head 保持 Q8_0。提供了多个 GGUF 文件,在 262,144 token imatrix 校准下,KL top-256 在 0.246-0.272 之间,top-1 准确率约 78%,困惑度 9.45-9.80。该发布为在 AMD 硬件上运行 DeepSeek V4.1 Flash 提供了低比特量化方案。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- license: mit base_model: deepseek-ai/DeepSeek-V4.1-Flash tags: - gguf - deepseek - lucebox - rocmfp --- # DeepSeek V4.1 Flash for the Lucebox engine (ROCMFP block formats) Lucebox builds of DeepSeek V4.1 Flash for the Lucebox DS4.1 engine (AMD R9700 + Strix Halo). Routed experts in the engine's ROCMFP block formats; attention, shared experts and head in Q8_0; both Engram tables embedded. Calibrated with the published 262,144-token imatrix (`smalinin/DeepSeek-V4.1-Flash-GGUF`, converted in


发布时间:2026-10-02 01:51
抓取时间:2026-10-02 01:52
来源机构:Hugging Face
阅读原文huggingface.co