llama.cpp b11163 发布:新增 llama_batch_ext 批处理 API
原标题:b11163
AI 摘要
llama.cpp 发布 b11163 版本,核心变更是新增 llama_batch_ext API(PR #24669),支持在同一个 batch 中同时处理 token、embedding 和 state,并引入 llama_embd、llama_batch_ext_add_embd、llama_batch_ext_set_embd_state 等接口,同时修复了位置处理与兼容性并新增兼容性测试。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等)的预编译二进制包。
正文节选
<details open> llama: add llama_batch_ext (#24669) * (wip) add llama_batch_ext * wip * updated design * updated impl * change signature * unused var * demo common_prompt_batch_decode * fix pos * tmp disable test-batch-alloc * fix compat * nits: add const * no more pos_max * add comment about llama_batch_ext_set_embd_state * handle n_embd_out properly * rename api --> embd_token * llama_embd * stub llama_batch_ext_set_embd_state * support both token + embd + state in batch * l