DoSA：点稀疏注意力，无损加速 Top-K 选择
该论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过分数上下界证书提前拒绝候选 token，仅对仍符合条件的候选进行完整打分，从而保持精确的 Top-K 选择。其 GPU 实现使完整 Indexer 相比 SGLang 提速最高 2.74 倍、相比 LiteTopK 提速 1.69 倍。在 GLM-5.2 和 DeepSeek-V3.2 上的端到端评估中
DoSA：点稀疏注意力，无损加速稀疏注意力索引器
2026-10-14 · 2 篇报道 · 2 家独立信源 · 研究
主来源摘要
论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过为每个 token 构造分数上界与 Top-k 阈值下界，在保留精确 token 选择的前提下跳过大量全头打分。该方法针对 DeepSeek 稀疏注意力（DSA）中带符号 ReLU 索引器的稠密打分瓶颈，利用非负头投影、联合残差界和激活感知聚合来收紧候选排除条件。在 GLM-5.2 与 DeepSeek-V3.2 上，约 100 万 token 上下文时端到端与首 token 延迟相比 SGLang 等基线最高提升近一倍，索引器耗时占比最高达 90.8%。
参与来源arXiv cs.LG · Hugging Face Daily Papers
2
独立信源
2
报道篇数
0.0
当前热度
来源时间线
DoSA：点稀疏注意力，无损加速稀疏注意力索引器
论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过为每个 token 构造分数上界与 Top-k 阈值下界，在保留精确 token 选择的前提下跳过大量全头打分。该方法针对 DeepSeek 稀疏注意力（DSA）中带符号 ReLU 索引器的稠密打分瓶颈，利用非负头投影、联合残差界和激活感知聚合来收紧候选排除条件。在 GLM-5.2 与 DeepSeek-
事件分组由算法辅助完成，可能存在误合或漏合。多家来源报道同一主题不代表其中所有主张 都已得到独立确认；请优先核验主来源，并通过每篇报道的原文链接检查细节。