论文提出Kronecker积注意力，最高10倍压缩KV缓存

Bahareh Nikpour等作者发布arXiv论文《Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization》，提出Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖token的矩阵因子的Kronecker积之和，据论文实现最高10倍的KV cache压缩。 论文声称，在相同训练条件下，KPA在四个模型规模和九个下游基准上与TPA、MHA、MQA、GQA和MLA持平或更优。目前这是作者在论文中的实验结果，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。