自索引注意力：兼容压缩的稀疏长上下文 LLM 推理
原标题：Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
AI 摘要
该论文提出 Self-Indexing Attention，一种无需训练的稀疏长上下文 LLM 推理框架，基于共享的变换域符号-幅值表示，将 key 的符号位复用为 token 级索引，同时服务于 prefill 分组选择与 decode 检索，并与外部 KV-cache 压缩兼容。在 5% 注意力密度下，该方法在 LongBench 和 RULER 上接近稠密注意力，prefill 与 decode 注意力算子分别最高加速 6.1 倍和 10.3 倍，端到端加速 1.35 倍。实验还表明其与 TurboQuant 低比特 KV-cache 压缩及 DeepSeekV4-Flash 的预训练稀疏注意力索引器兼容。
正文节选
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference Abstract Sparse long-context inference requires efficient token retrieval in both prefill and decode. Existing methods often use different retrieval strategies for the two stages, preventing one retrieval representation from being reused throughout inference. We propose Self-Indexing Attention, a training-free framework built on a shared transform-domain sign-magnitude representation. The key signs provide a reu