字节找到DeepSeek时强时弱原因：分块KV Cache压缩引发相位敏感性
原标题：字节找到了DeepSeek时强时弱的原因
AI 摘要
字节Seed团队发现DeepSeek-V4系列模型存在「相位敏感性」问题：同一道题仅改变输入中无关Token的数量，模型答案就会以4个Token为周期反复横跳。在128K长上下文检索测试中，同一信息仅改变位置，DeepSeek-V4-Flash-Base准确率差距可达40.2个百分点。研究将原因指向DeepSeek-V4采用的分块KV Cache压缩技术，并通过从头训练模型验证了分块压缩本身会引入周期性检索弱点，同时指出常规平均分评测难以暴露该问题。
正文节选
字节找到了DeepSeek时强时弱的原因 答不答得对，得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题，什么都没改，只在前面多塞几个无关紧要的字符，模型突然就不会了？？？ 而且还不是偶尔抽风。 Seed研究人员发现，DeepSeek-V4的表现竟然会随着信息的输入位置，每隔4个Token周期性变化。 啥意思？模型记不记得住一件事，居然还要看这件事在输入里站哪儿？？ 前面多两个Token，答案可能从错变对，再多两个，又给你改回去。 好好好，模型答题也开始讲究站位了。 在128K长上下文检索测试中，研究人员发现，同一条信息只是换了个位置，DeepSeek-V4系列模型的检索准确率最高就能拉开40.2个百分点。 团队进一步发现，这个问题与DeepSeek-V4采用的一项长上下文优化技术有关—— 分块KV Cache压缩。 这项技术本来是为了让模型处理长文本更省内存、更高效。 结果压缩之后，倒让模型时神时鬼了（doge）。 多两个Token，DeepSeek突然就答对了 字节Seed研究人员最开始是拿De