返回全部动态

llama.cpp b11163 发布:新增 llama_batch_ext 批处理 API

原标题:b11163

llama.cpp Releases一手来源开源质量 69

AI 摘要

llama.cpp 发布 b11163 版本,核心变更是新增 llama_batch_ext API(PR #24669),支持在同一个 batch 中同时处理 token、embedding 和 state,并引入 llama_embd、llama_batch_ext_add_embd、llama_batch_ext_set_embd_state 等接口,同时修复了位置处理与兼容性并新增兼容性测试。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等)的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama: add llama_batch_ext (#24669) * (wip) add llama_batch_ext * wip * updated design * updated impl * change signature * unused var * demo common_prompt_batch_decode * fix pos * tmp disable test-batch-alloc * fix compat * nits: add const * no more pos_max * add comment about llama_batch_ext_set_embd_state * handle n_embd_out properly * rename api --> embd_token * llama_embd * stub llama_batch_ext_set_embd_state * support both token + embd + state in batch * l


发布时间:2026-09-25 03:27
抓取时间:2026-09-25 04:06
来源机构:ggml-org
阅读原文github.com