论文提出连续积分注意力算子Continuum Attention

Afshin Khadangi在arXiv发布论文，提出因果Transformer注意力算子Continuum Attention（CA），用连续分段线性记忆曲线上的积分替代离散key/value查找，并通过最高二阶指数矩获得解析梯度。 作者称CA支持并行GPU实现，保持二次序列复杂度和标准Transformer解码器结构。在与普通softmax注意力和focal attention的比较中，CA将平均验证负对数似然分别降低0.0200和0.0480 nats per byte，并在所有配对比较中胜出。 作者称这些结果说明连续积分是有前景的注意力替代方案，但更大规模的泛化仍是未解决问题。以上比较结果为论文声称，尚待更大规模和独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。