RBS-Attention：面向长上下文LLM的半径受限稀疏预填充
原标题：RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models
AI 摘要
该论文提出 RBS-Attention，一种免训练的稀疏预填充方法，用于缓解长上下文 LLM 推理中密集自注意力预填充的开销。作者指出块质心评分会因「均值稀释」而漏掉块内高度相关的 token，因此设计双分支选择：质心基分支捕捉平均相关性，救援分支利用最大键块半径及其随提示、层、头变化的分布来识别可能被低估的块。在 H100 上，该方法在 Qwen3-30B-A3B-Instruct-2507-FP8 的 128K 上下文下实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 预填充注意力加速和 5.97 倍端到端首 token 时间加速，并在 Qwen3-32B 上取得接近密集注意力的 RULER 与 LongBench-v2 质量。
正文节选
RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models Abstract Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many irrelevant ones. We call this failure mode mean dilution and propose RBS-Attention, a training-free sparse-prefill method with two compl