返回全部动态
llama.cpp b10896:修复 DFlash 视觉模型 mtmd chunk 解码失败
原标题:b10896
AI 摘要
llama.cpp 发布 b10896 版本,修复了在使用 DFlash 推测解码与视觉模型(mtmd)配合时无法解码图像 chunk 的问题。修复方式是停止将图像 token 复制给 drafter,并将 M-RoPE 跳过逻辑限制为仅图像,允许音频正常通过。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> spec: fix failed to decode mtmd chunk with DFlash (#28587) * speculative: fix failed to decode mtmd chunk with DFlash When using DFlash w/ vision models, the drafter memory fails to allocate new tokens because images report a fixed offset. Stop copying them to allow the drafter to continue. * address PR feedback limit M-RoPE skip to images only, allow audio to pass through. Clean up comments to align to the updated implementation </details> **Website:** - <https://llama.app
发布时间:2026-09-10 23:42
抓取时间:2026-09-10 23:54
来源机构:ggml-org