arXiv · cs.AI· Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi·· 5 小时前
通过学习式随机停止稳定循环 Transformer 的外推能力
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
arXiv:2606.29983v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi
研究任务与主要进展
作者提出通过训练时随机化循环次数，减少循环 Transformer 在不同推理循环数下的分布外预测方差，并分析 RL-Halting 学习式随机停止以改善准确率与稳定性的权衡。在 binary addition、Dyck-1、Unique Set 和 Copy 任务上，RL-Halting 通常改善该权衡，但有时会稳定次优计算；基于论文摘要，以上结果的具体实验设置与细节未说明。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org