ValueDiff按值向量偏差淘汰KV缓存

Junyoung Park、Jungwook Choi和Mingu Lee提出ValueDiff，以令牌值向量相对缓存均值的L2偏差排序并淘汰KV缓存，面向持久注意力汇较弱的大语言模型。固定缓存预算下，prefill每个块边界及生成每一步均执行淘汰。 在7个抑制注意力汇的模型上，ValueDiff于RULER的2k预算下保留密集缓存表现的88%—99%，其中6个模型为最佳；LongBench的4k预算下平均保留92%，高于最强既有基线的83%。MATH-500的25%预算下，它在全部受测模型上均为最强非密集方法。结果目前来自arXiv论文。

AI 根据报道生成 · 22 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。