DoPR：可复用压缩文档前缀实现高效 LLM 重排序
原标题：DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking
AI 摘要
arXiv 论文提出 DoPR 框架，通过离线压缩文档前缀并在在线重排序中复用，减少 LLM 点式重排序的冗余计算。在 TREC DL、BEIR 和 BRIGHT 基准上，使用 Qwen3 模型（0.6B 至 8B）测试，实现了最高 8.0 倍的在线文档侧内存减少和 8.04 倍延迟加速，同时保留全文档重排序器平均 NDCG@10 的 97.1%-99.5%。该框架适用于文档集合稳定且重复访问频繁的检索系统。
正文节选
DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking Abstract Large language models (LLMs) are effective rerankers, but pointwise reranking repeatedly processes the same document across different queries, causing substantial redundant document-side computation. We propose DoPR, a compressed document prefix framework that decouples offline document processing from online reranking. DoPR first selects query-independent document representations and converts them into compressed d