提出预算化KV缓存修复方法SUR

Han Yu等人在arXiv发布Budgeted KV-Cache Repair方法，通过只重算用户选定比例的保留后缀来恢复上下文删除后语言模型的任务性能，并设计Semantic-Unit Refresh（SUR）按查询相关性区域分配重算预算，附layer-packed executor。 作者称，在五个模型上SUR于受控删除任务中实现强恢复，仅重算后缀的2-5%；在四个自然多跳问答数据集上，5%预算下达到接近全量重算的精确匹配成绩且编辑后延迟更低。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。