llama.cpp b11822:修复 qwen4exp 层输入以适配 DFlash drafter
原标题:b11822
AI 摘要
llama.cpp 发布 b11822 版本,修复了 qwen4exp 模型在 DFlash drafter 场景下的层输入形状不匹配问题:此前 qwen4exp 将 hc-wide 残差以 [n_embd, hc, n_tokens] 形式暴露为 t_layer_inp,而 drafter 按 [n_embd, n_tokens] 读取,导致在 llama_context::extract_layer_inputs 首次请求即中止。修复方式是在暴露前用均值折叠各流(与 deepseek4 对超连接残差的做法一致),且仅为 drafter 实际请求的层构建均值。该版本同时提供 macOS、Linux、Android、Windows 等多平台预编译包。
正文节选
<details open> model : fix qwen4exp layer inputs for DFlash drafters (#30927) qwen4exp published the hc-wide residual [n_embd, hc, n_tokens] as t_layer_inp, but the drafter reads layer inputs as [n_embd, n_tokens] rows: llama_context sizes each embd_layer_inp buffer as n_embd * n_batch and the DFlash encoder input is n_extract * n_embd wide. Evaluating a DFlash draft over a qwen4exp target therefore aborts on the first request in llama_context::extract_layer_inputs. Collapse the streams with