KVFetch提出时序预取框架补KV Cache压缩召回缺失
热点事件观察中
KVFetch提出时序预取框架补KV Cache压缩召回缺失
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Linfeng Dong提出KVFetch，一个无需训练、可插拔的时序预取框架，可为现有评分式KV Cache压缩器增加时序召回通道。其做法是将被驱逐内容降级到量化冷层，通过单调读取指针检测正在进行的逐字复制，并把后续位置预取进固定容量热层，且不增加注意力成本。 论文摘要报告，在RULER-16K同预算对照实验中，逐字复制得分由0.8提升至78.4，13项任务平均分提高8.4，增益集中于需要顺序访问的任务；在不需要序列访问的LongBench上，该通道保持休眠且不增加成本。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
KVFetch：面向KV Cache压缩缺失环节的时序预取报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv · cs.AIKVFetch：面向KV Cache压缩缺失环节的时序预取
KVFetch提出一个无需训练、可接入现有评分式KV Cache压缩器的时序召回框架，通过量化冷层、单调读取指针和固定容量热层预取恢复被驱逐内容的后续位置。论文摘要报告，在RULER-16K等预算实验中，逐字复制得分由0.8提升至78.4，13项任务平均分提高8.4；在不需要序列访问的LongBench上，该通道保持休眠且不增加成本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。