字节Seed发现DeepSeek-V4性能随Token位置周期性波动

字节Seed团队发布研究称，DeepSeek-V4在输入内容不变时，检索性能会随信息在输入中的位置按4 Token周期波动（Phase Sensitivity），并将其归因于Chunked KV Cache压缩。在128K长上下文检索测试中，DeepSeek-V4-Flash-Base不同位置的最大准确率差距达40.2个百分点，Pro-Base也达34.8个百分点。 为验证机制，研究者基于Qwen3-0.6B架构构建了多种KV Cache压缩方案，以无chunked压缩的全注意力模型作为对照组。研究还发现后训练后该问题有一定程度的改善。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。