百度开源文心Unlimited OCR 2：KV缓存降96%，支持无限页数
原标题：KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
AI 摘要
百度正式发布并开源文心Unlimited OCR 2，通过稀疏参考滑动窗口注意力机制（SR-SWA）和无限解码机制，将百页级文档单序列推理的峰值KV缓存从47GB降至1.77GB，减少约96%，16路并发吞吐量提升至3.65倍。模型可连续解析3600+页文档，在MarathonDocBench上取得77.06综合得分，单步解码速度达全注意力的7倍。该模型已在Hugging Face和GitHub开源，上一代累计下载量超1000万。
正文节选
KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96% OCR 3.0时代，来了 听雨 发自 凹非寺 量子位 | 公众号 QbitAI 百度的OCR又升级了，文心Unlimited OCR 2正式发布并开源！ 这次，它直接挑战一口气读完整套小说。 7部《哈利·波特》，从《魔法石》到《死亡圣器》，连续识别、转写，3600+页一路读到最后。 换成《三体》全集，同样能一口气读完，三本书1200+页，几十万字，中间也不带喘的。 不过，连着读这么多页，模型得先过一道关：显存。 文档越长，推理时需要保留的中间信息（KV缓存）就越多——可以理解为模型边读边记的小抄，页数越多，小抄越厚。小抄厚重，不光占地方，翻起来也慢。 在技术报告的百页级单序列测试中，文心Unlimited OCR 2给出了一组对比： 峰值KV缓存占用从标准解码（将所有页面的视觉缓存同时保留在显存中）的47GB降至1.77GB，一口气减少了约96%。 47GB是什么概念？比不少笔记本电脑的整机内存还大。而这还只是KV缓存，模型权重等其他开销另算。 它的上一代Unlimited OCR，已经凭借多页文档连续解析能力，在开