GQLA：组共享上投影的注意力方法与DeepSeek权重转换

Fanxu Meng与Zhixin Pan在arXiv论文中提出Group-Query Latent Attention（GQLA），通过组共享上投影保留联合潜变量，并支持同一权重下以MQA-absorb或GQA两种方式执行解码。 他们给出DeepSeek-V3.1-Base的转换结果：转换后模型八任务准确率为77.79%（原模型77.84%），但WikiText-2困惑度从3.21升至6.05。在8张H20-3e GPU上、8K–64K输入且常驻批次相同的条件下，GQA路径的输出吞吐量比MQA-absorb高22.42%–34.97%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。