返回全部动态

llama.cpp b11822:修复 qwen4exp 层输入以适配 DFlash drafter

原标题:b11822

llama.cpp Releases一手来源开源质量 59

AI 摘要

llama.cpp 发布 b11822 版本,修复了 qwen4exp 模型在 DFlash drafter 场景下的层输入形状不匹配问题:此前 qwen4exp 将 hc-wide 残差以 [n_embd, hc, n_tokens] 形式暴露为 t_layer_inp,而 drafter 按 [n_embd, n_tokens] 读取,导致在 llama_context::extract_layer_inputs 首次请求即中止。修复方式是在暴露前用均值折叠各流(与 deepseek4 对超连接残差的做法一致),且仅为 drafter 实际请求的层构建均值。该版本同时提供 macOS、Linux、Android、Windows 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> model : fix qwen4exp layer inputs for DFlash drafters (#30927) qwen4exp published the hc-wide residual [n_embd, hc, n_tokens] as t_layer_inp, but the drafter reads layer inputs as [n_embd, n_tokens] rows: llama_context sizes each embd_layer_inp buffer as n_embd * n_batch and the DFlash encoder input is n_extract * n_embd wide. Evaluating a DFlash draft over a qwen4exp target therefore aborts on the first request in llama_context::extract_layer_inputs. Collapse the streams with


发布时间:2026-10-23 01:33
抓取时间:2026-10-23 01:47
来源机构:ggml-org
阅读原文github.com