arXiv · cs.AI· Michela Lapenna, Rita Fioresi, Bahman Gharesifard·· 2 天前
Sinkhorn双随机注意力减缓Transformer深层秩坍缩
Sinkhorn doubly stochastic attention rank decay analysis
arXiv:2604.07925v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Michela Lapenna, Rita Fioresi, Bahman Gharesifard
期刊信息（来源提供）：Transactions on Machine Learning Research (TMLR), 2026, https://openreview.net/forum?id=fGItYoS8j1
研究任务与主要进展
作者提出并分析使用Sinkhorn算法归一化的双随机注意力，结果显示其比标准softmax行随机注意力更能保持注意力矩阵的秩。作者同时指出跳连对缓解秩坍缩至关重要，并在情感分析和图像分类任务中进行经验验证；基于论文摘要，纯自注意力中的秩衰减被理论界定为随深度双指数趋近于1。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org