提出ChampionKV：按注意力头自适应分配KV缓存预算

Yuechuan Chen 等在arXiv提交论文，提出ChampionKV，一种面向长上下文KV缓存压缩的输入自适应按头预算分配方法：根据观察窗口中的最大聚合注意力得分，为注意力分散的头分配更大缓存预算、注意力集中的头分配更小预算。该方法可插入SnapKV、PyramidKV等压缩器，不改变其原有的token选择流程。 论文结果显示，改进在Llama3.1-70B-Instruct上最大且统计显著，尤其在紧张预算下；在所测7B/8B模型上结果具有竞争力但好坏参半。作者同时承认ChampionKV并非全面优于Ada-KV，后者的全局跨头Top-K选择在若干设置下仍占优势。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。