港科CMU联手岩山科技开源EdgeRock-4B，KV Cache砍掉99%
原标题：KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 摘要
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B模型，采用记忆岩锚（RMA）机制，将256K上下文下的KV Cache固定在72MiB，相比源模型Qwen3.5-4B减少99.1%。在单张80GB GPU上实现512路并发长推理，输出吞吐达12124 tokens/s，为源模型的6.42倍，同时AIME 2024-2026平均一次通过率保持82.9%。模型权重与推理代码均已开源并支持商用，可进行文本和图像推理。
正文节选
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型 一张卡，512路长推理同时跑 允中 发自 凹非寺 量子位 | 公众号 QbitAI 谷歌今年的一篇论文，愣是把存储芯片巨头的股价都给整出动静了。 论文里提到，KV Cache至少能压缩6倍。 要知道，大模型推理越来越吃内存，KV Cache又是其中一笔不小的开销。 现在谷歌突然把它压下去这么多，美光等存储芯片巨头的股价随之下跌。 结果才过去几个月，又有人对KV Cache下了更狠的一刀。 这次连压缩都不满足了。 上下文从4K一路涨到256K，KV Cache占用愣是没变。 在256K上下文下，始终固定在72MiB。相比源模型，KV Cache直接减少99.1%。 更夸张的是，一张80GB显卡同时跑512路长推理，输出吞吐达到12124 tokens/s，是源模型的6.42倍。 而且推理能力也基本保住了，AIME 2024—2026平均一次通过率达到82.9%，而参评的有界状态模型即便做到14B，最好也只有18.8%。 这就是岩山科技旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源的EdgeRock-4B。