返回全部动态
llama.cpp b11400：batch 支持混合 embd 与原始 token
原标题：b11400
AI 摘要
llama.cpp 发布 b11400 版本，核心变更是让 llama 支持在同一个 batch 中混合使用 embedding 和原始 token 输入（PR #29622），并新增了对应的测试用例与常量图拓扑处理。该版本同时提供了覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> llama: support both embd + raw tokens in batch (#29622) * llama: support both embd + raw tokens in batch * add to test-llama-archs * also check case llm_arch_supports_mixed_batch = false * constant graph topology * have dedicated input for mixed case * rm set_tensor_backend * is_embd --> type * consolidate m-rope pos handling into one place * nits </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/5266
发布时间：2026-10-05 08:04
抓取时间：2026-10-05 08:06
来源机构：ggml-org