字节发现DeepSeek周期性弱点，实测V4.1结果不同
原标题：字节发现 DeepSeek 的周期性弱点，我们实测了 V4.1，结果不太一样
AI 摘要
字节跳动Seed团队在9月底的研究中发现，DeepSeek-V4-Flash基础模型会因代码前无关Token长度变化，在正确答案与错误答案之间周期性切换，并将原因指向其CSA/HCA分块KV压缩机制带来的“相位敏感性”。雷峰网通过DeepSeek官方API对现役V4.1-Flash进行64组实测，未复现答案翻转，但观察到正确答案概率随填充长度波动。论文数据显示，最好与最差相位的准确率差距从V4-Flash基础模型的40.2个百分点降至V4.1-Flash的6.1个百分点，说明问题有所缓解但未完全消除。
正文节选
同一段代码，前面只增加无关Token，DeepSeek会改变答案吗？ 作者丨李娜 编辑丨岑峰 这是字节Seed在9月底一项研究中发现的现象。研究人员观察到，DeepSeek-V4-Flash基础模型会随着代码前方无关注释的长度变化，在正确答案“8”和错误答案“32”之间周期性切换。 (雷峰网(公众号：雷峰网))但这个存在于旧版基础模型中的异常，今天还能测出来吗？我们找来Seed论文使用的代码，通过DeepSeek官方API，对现役V4.1-Flash进行了两轮测试。结果与论文中的典型案例并不相同：固定采样的64组全部答对，另一轮测试中正确答案也始终占据预测概率首位，但它得到的概率却随着输入发生变化。为了降低长上下文的推理成本，DeepSeek V4采用了两种交替使用的注意力机制。 - CSA（压缩稀疏注意力），将8个Token组成一个压缩窗口，每隔4个Token生成