提出Virtual Head Attention降低长上下文注意力开销

论文作者提出Virtual Head Attention（VHA），通过Q Premix和Linear Postmix两种轻量线性操作，在仅用两个KV头的情况下同时改善注意力质量、KV缓存开销与计算量的平衡。 作者称，在四个规模、4K上下文、50B token的预训练实验中，VHA在所有规模上均超过标准GQA基线；在一个8K上下文、500B token训练的30B-A3B工业级MoE模型上，VHA优于MLA和GQA-4。以上为论文声称的结果，基于所提供的摘要证据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。