llama.cpp b11223：支持因果 LLM 重排序的 RANK pooling 批拆分
原标题：b11223
AI 摘要
llama.cpp 发布 b11223 版本，主要修复了服务端对因果 LLM 重排序模型（如 Qwen3、Qwen3-VL）的 RANK pooling 批处理拆分问题。此前服务端会拒绝超过 n_ubatch 的 RANK pooling 输入，且图构建器硬编码架构检查，导致长文档和多模态重排序失效。新版本通过暴露 llama_get_causal_attn 和 llama_model_is_causal 接口，使 can_split() 在因果上下文下允许分块预填充，从而支持长文档与多模态重排序。
正文节选
<details open> server : allow RANK pooling batch splitting for causal LLM rerankers (ie. Qwen3 and Qwen3-VL) (#28876) * server : allow splitting RANK pooling for causal LLM rerankers Rerank models fall into two categories: bidirectional cross-encoders (BERT, etc.) that require all tokens in a single physical batch, and causal LLMs repurposed as rerankers (Qwen3, Qwen3-VL) that can use chunked prefill like any other decoder. Previously the server rejected all RANK-pooling inputs larger than n