跳到正文
arXiv · cs.AI· Yaoyang Liu, Shuwei Shen, Jincheng Tang, Jinguang Liu, Jinbao Xue, Hailong Yang, Ke Zhang, Yinjun Wu·· 11 小时前

BELT:面向行为对齐的低秩KV缓存压缩方法

BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation

arXiv:2610.17966v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Yaoyang Liu, Shuwei Shen, Jincheng Tang, Jinguang Liu, Jinbao Xue, Hailong Yang, Ke Zhang, Yinjun Wu

研究任务与主要进展

Yaoyang Liu等人提出BELT,一种面向注意力分布的低秩KV缓存压缩框架,并通过可学习的全局秩分配满足指定的组件预算。论文摘要报告,BELT在三种大语言模型和多个基准上最高实现70%低秩KV缓存压缩,LongBench上较最强基线最高提升23.3分;结合量化后,KV缓存总体最高减少17.8倍。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org