提出混合潜在注意力，压缩循环语言模型KV缓存

Yuhan Chen 等在 arXiv 提出混合潜注意力（HLA）：在循环语言模型中，近期 W 个 token 保留精确 key/value，更早 token 以紧凑潜表示存储、直接供每轮查询读取而无需重建 KV，从而缩小缓存。他们在 Ouro 循环模型（T=4，1.4B 和 2.6B 参数）上冻结预训练权重、只训练新增参数进行 uptrain，复现原始注意力。 摘要报告：每 token 缓存缩小 10.7 倍，GPU 可同时解码序列增加 4.0–8.8 倍，1K 上下文解码吞吐提升 2.5 倍、16K 上下文最高提升 7.4 倍。精度上，数学、知识与推理基准保留原模型 97% 以上，16K 内长上下文检索保留 96–100%；监督微调后在竞赛级数学上与微调后的原模型相当。以上数字均为论文摘要报告，未独立复现。

AI 根据报道生成 · 17 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。