GateSight：用GDN门控信号预测KV缓存淘汰

Junjie Li、Jiong Lou、Jie Li 在 arXiv 提交论文，提出 query-agnostic 的 KV 缓存淘汰方法 GateSight：利用混合 LLM 中 Gated DeltaNet 层在预填充阶段输出的写入门控、衰减和写入幅度信号，通过轻量的每头多层感知机预测注意力 KV 条目对后续输出的效用，无需查看查询即决定各注意力层保留或释放哪些缓存。 论文报告的实验在 SCBench 和 RULER-4096 上，使用 Qwen3.8-27B 以及用同一配方测试的稀疏注意力模型 Qwen3.8-Flash-Next。结果显示，在注意力 KV 缓存压缩到十分之一时，GateSight 在四个模型-基准对中的三个上是五种 query-agnostic 方法中最准确的，并在全部四个对上以 9.5 到 47.2 分领先 KVzip。

AI 根据报道生成 · 1 天前更新