返回全部动态

字节发现 DeepSeek 分块 KV 压缩的周期性盲区

原标题:字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车

雷峰网 AI科技评论研究质量 72

AI 摘要

字节跳动团队发表论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》,指出 DeepSeek V4 系列模型因采用分块 KV Cache 压缩技术而存在周期性相位敏感问题:在代码补全任务中仅因前置等号数量不同,错误率可在 71.3% 与 91.5% 之间波动,128K 长上下文测试中不同位置准确率差距最高达 40.2%。研究用 Qwen3-0.6B 复现实验证明,只要采用固定长度分块压缩,该问题就无法通过调参、去除 RoPE 或后训练根除。文章还讨论了动态分块、ChunkKV、Jina AI 延迟分块与微软 MInference 等潜在解决方向。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

DeepSeek 的省钱杀手锏,为何成了致命盲区?     作者丨高允毅     编辑丨岑   峰                                                                                                         同一个问题问 DeepSeek 两次,只是多敲了几个空格,给出的答案居然一个像“天才”,一个像“智障”。9月底,字节团队的最新论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》,直接点名了 DeepSeek V4 系列模型的“神鬼二象性”问题。图注:论文链接 https://arxiv.org/pdf/2609.36322这本质上是底层算法偷懒导致的“周期性失忆”,分块 KV Cache 压缩技术把长上下文切块压缩处理,这就带来一个问题:“位置决定命运”。如果你的核心词不巧落在了切块交界的“信息盲区”里,那模型只能胡言乱语。想象一下,如果让大模型审阅几十页合同,而关键条款刚好卡在“信


发布时间:2026-10-10 19:40
抓取时间:2026-10-10 22:38
来源机构:雷峰网
阅读原文leiphone.com