LORE-KV以未来查询轨迹优化缓存驱逐

论文作者提出并评测了无需训练的 LORE-KV：在固定 KV 缓存预算下，从冻结的目标模型采样短自回归续写，以响应侧查询状态估计提示词 token 的未来效用；临时续写会在最终解码前丢弃，不需辅助模型。 在预算 B=128 时，Qwen2.5-14B 的 LongBench 平均分由 45.49 升至 48.24，Mistral-7B 的 16K RULER 平均分由 45.20 升至 51.05。代价是其在六种稠密及混合注意力骨干上的单样本墙钟时间，为 AnDPro 的一次性缓存压缩开销的 1.46—2.77 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。