返回全部动态

llama.cpp b11870 新增 DeepSeek-V4.1-Flash 支持

原标题:b11870

llama.cpp Releases一手来源开源质量 75

AI 摘要

llama.cpp 发布 b11870 版本,新增对 DeepSeek-V4.1-Flash(deepseek41)模型的支持。该 PR 移除了 MXFP8、将 Engram 表转为 BF16、在缓存中一次性计算压缩 KV 读取层、改为图内 gather Engram 行并排序 top-k 行后再稀疏 gather,同时删除 LLAMA_DSV41_KV_MIRROR 开关,并将 deepseek41 加入 Metal 融合基线测试。发布包覆盖 macOS、Linux、Android、Windows 等多平台与 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> model: DSV4.1 flash (#31086) * model : add DeepSeek-V4.1-Flash (deepseek41) * deepseek41 : remove MXFP8, convert the Engram table to BF16 * deepseek41 : compute the compressed-KV read layers once in the cache * deepseek41 : use get_cells() for the shared-history check, drop llama_kv_cache::seq_pos_tok_le * deepseek41 : gather the Engram rows in-graph like qwen4exp, drop the host gather * deepseek41 : keep the Engram hash constants in hparams.ple_*, one module per Engram lay


发布时间:2026-10-25 10:15
抓取时间:2026-10-25 10:29
来源机构:ggml-org
阅读原文github.com