BELT低秩KV缓存压缩框架论文发布

Yaoyang Liu等人在arXiv发布论文，提出BELT，一种面向注意力分布的低秩KV缓存压缩框架，通过可学习的全局秩分配满足指定的组件预算。 基于论文摘要：BELT在三种大语言模型和多个基准上最高实现70%低秩KV缓存压缩，LongBench上较最强基线最高提升23.3分；结合量化后KV缓存总体最高减少17.8倍。配合基于Triton的GPU内核和量化缓存，注意力模块最高加速2.7倍，端到端解码吞吐最高提升3.3倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。