论文证明有限深度Transformer随生成遗忘提示词的条件定理

Shuyang Xiang 发布论文（arXiv:2610.24133），对自回归 Transformer 在生成 t 个 token 后还能保留多少提示词信息给出条件性定理：不同提示词对应的隐状态距离随生成长度近似按幂律 t^{-α} 衰减，即提示词影响随生成逐渐遗忘，relay 只能引入对数因子。作者类比引力物理中的无hair定理表述这一结论。 该定理适用于有限深度的 pre-LN softmax Transformer，前提条件为注意力 logits 有界，且 pre-norm 激活不趋近于零；提示词长度 P 与网络深度 L 为有限值。论文基于摘要，属理论结果，尚未见实测验证报道。

AI 根据报道生成 · 2 天前更新