Sinkhorn注意力减缓深层秩坍缩

Michela Lapenna、Rita Fioresi和Bahman Gharesifard提出以Sinkhorn算法归一化的双随机自注意力，并在论文摘要中报告，相比标准softmax行随机注意力，该方法能更好地保持注意力矩阵秩。作者还将纯自注意力的秩衰减理论刻画为随深度以双指数趋近于1。 研究基于情感分析和图像分类任务进行了经验验证；作者同时指出，跳连对缓解秩坍缩至关重要。上述理论与任务结果均据论文摘要所述，未涉及独立复现。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。