用现代Hopfield模型分析Transformer注意力的统计力学相变

Jerry Yao-Chieh Hu、Yu-An Chen、Maojiang Su、Han Liu 在 arXiv 论文《On the Statistical Mechanics of Attention》（arXiv:2610.17347）中提出用现代Hopfield模型的自由能形式刻画Transformer注意力，给出鲁棒注意力推理的参数区域与临界阈值，并将其描述为统计力学系统的演化方程。 作者称该框架将查询状态与注意力权重的随机性纳入分析，识别出注意力在玻璃态与鲁棒推理态之间的一阶相变，并扩展讨论了随机查询和键。以上内容基于论文摘要，事件目前处于理论提出阶段，尚无独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。