字节发现 DeepSeek 分块 KV 压缩的周期性盲区
原标题:字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车
AI 摘要
字节跳动团队发表论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》,指出 DeepSeek V4 系列模型因采用分块 KV Cache 压缩技术而存在周期性相位敏感问题:在代码补全任务中仅因前置等号数量不同,错误率可在 71.3% 与 91.5% 之间波动,128K 长上下文测试中不同位置准确率差距最高达 40.2%。研究用 Qwen3-0.6B 复现实验证明,只要采用固定长度分块压缩,该问题就无法通过调参、去除 RoPE 或后训练根除。文章还讨论了动态分块、ChunkKV、Jina AI 延迟分块与微软 MInference 等潜在解决方向。
正文节选
DeepSeek 的省钱杀手锏,为何成了致命盲区? 作者丨高允毅 编辑丨岑 峰 同一个问题问 DeepSeek 两次,只是多敲了几个空格,给出的答案居然一个像“天才”,一个像“智障”。9月底,字节团队的最新论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》,直接点名了 DeepSeek V4 系列模型的“神鬼二象性”问题。图注:论文链接 https://arxiv.org/pdf/2609.36322这本质上是底层算法偷懒导致的“周期性失忆”,分块 KV Cache 压缩技术把长上下文切块压缩处理,这就带来一个问题:“位置决定命运”。如果你的核心词不巧落在了切块交界的“信息盲区”里,那模型只能胡言乱语。想象一下,如果让大模型审阅几十页合同,而关键条款刚好卡在“信