提出离群维度感知的注意力线性化方法OAL

Weiqi Sun 等在 arXiv 论文中提出离群维度感知的注意力线性化方法 OAL，针对少数异常维度主导查询-键点积近似误差的问题，引入支持维度特定线性项和跨维二次交互的 Hadamard 积形式，并按贡献尺度分组以减少参数。 作者报告的效果均限于其实验设置：在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%；将中间层注意力模块替换后用 LoRA 联合微调核系数，相比学习到的全局二次核，把 WikiText-103 困惑度从 31.71 进一步降至 27.50。论文附有代码仓库，以上数字基于论文，尚属作者声称的实验结果。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。