arXiv · cs.AI· Junjie Li, Jiong Lou, Jie Li·· 7 小时前精选
GateSight 用循环记忆预测注意力 KV 缓存价值，压缩混合 LLM 注意力缓存
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
arXiv:2610.14754v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Junjie Li, Jiong Lou, Jie Li
研究任务与主要进展
论文提出 GateSight，利用 Gated DeltaNet 层在预填充阶段输出的写入门控、衰减和写入幅度信号，预测注意力 KV 条目对模型后续输出的效用，并在不查看查询的情况下决定各注意力层保留和释放哪些缓存。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
GateSight 将 GDN 层的循环记忆信号用于预测注意力 KV 条目的未来效用，从而在不依赖查询注意力分数的情况下进行缓存淘汰。其价值在于把查询无关的缓存压缩与模型自身预填充信号结合起来；但当前证据限于摘要所述的 Qwen3.8-27B、Qwen3.8-Flash-Next 及两项基准，推广到其他混合架构和更长生成过程仍需验证。
来源：arXiv · cs.AI · arxiv.org