返回全部动态

llama.cpp b10715 发布:融合 DFlash 编码器提升性能

原标题:b10715

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10715 版本,主要更新是将 DFlash 编码器融合到 KV 缓存注入解码中,避免了设备到主机的数据传输和额外的图构建,提升了性能。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> spec : fuse the DFlash encoder into the KV cache injection (#27310) * dflash : fuse the encoder into the KV injection decode The encoder is a single fc + norm, but running it as a separate llama_encode forced a device-to-host round trip of its output before the injection decode could re-upload it, plus a second graph build per round. Fold the encoder into the decoder's embd branch and feed the target features directly to one llama_decode. Assisted-by: Claude Fable * nit * Ap


发布时间:2026-08-31 18:11
抓取时间:2026-08-31 19:12
来源机构:ggml-org
阅读原文github.com