返回全部动态

llama.cpp b11307:修复推测解码层输入批次顺序

原标题:b11307

llama.cpp Releases一手来源开源质量 73

AI 摘要

llama.cpp 发布 b11307 版本,核心改动是修复推测解码(speculative decoding)中层输入(layer inputs)的批次顺序问题,保留原始批次顺序,并恢复未掩码 NextN 嵌入的 token 顺序。改动同时兼容 tensor split,并覆盖多种 KV 布局与 CUDA 设备的回归测试。该版本提供 macOS、Linux、Windows、Android 等多平台预编译包,涉及 CUDA、Vulkan、ROCm、OpenVINO、SYCL 等后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama : preserve original batch order for speculative decoding layer inputs (#29019) * llama: preserve original batch order for layer inputs Assisted-by: Codex * tests: cover layer-input order across KV layouts Assisted-by: Codex * tests: exercise layer-input ordering on CUDA devices Assisted-by: Codex * llama: make layer input reordering compatible with tensor split Copy each microbatch tensor from offset zero and restore original row order after synchronization. Extend


发布时间:2026-10-01 08:34
抓取时间:2026-10-01 08:36
来源机构:ggml-org
阅读原文github.com