跳到正文
arXiv · cs.AI· Linfeng Dong·· 1 天前

KVFetch:面向KV Cache压缩缺失环节的时序预取

KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression

arXiv:2610.08811v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Linfeng Dong

研究任务与主要进展

KVFetch提出一个无需训练、可接入现有评分式KV Cache压缩器的时序召回框架,通过量化冷层、单调读取指针和固定容量热层预取恢复被驱逐内容的后续位置。论文摘要报告,在RULER-16K等预算实验中,逐字复制得分由0.8提升至78.4,13项任务平均分提高8.4;在不需要序列访问的LongBench上,该通道保持休眠且不增加成本。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org