论文用训练时随机循环次数稳定循环Transformer长度外推

Hsun-Yu Kuo 等发布论文，提出在训练时随机化循环次数，以减少循环 Transformer 在不同推理循环数下的分布外预测方差。作者将这一方差追溯到简单算法任务中序列长度与循环次数之间的伪相关，称引入随机性可显著降低 OOD 方差。 论文还分析了 RL-Halting 作为学习式随机停止方案，称其通常能改善准确率与稳定性的权衡，但有时也会稳定次优计算。结果基于论文摘要，实验在 binary addition、Dyck-1、Unique Set 和 Copy 任务上进行，具体实验设置与细节未说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。