论文：隐藏态谱重组先于注意力汇形成并可调节

Fan Yang 和 Yue Song 发布论文（arXiv:2610.16745），称注意力汇形成前约两至三层会出现隐藏状态的谱重组，且直接干预这一几何可改变后续注意力汇的形成。 仅依据论文摘要：研究人员在 Qwen2.5、GLM-Z1 和 GPT-OSS 中干预形成后隐藏状态的奇异值，发现其后续注意力汇行为相较范数匹配的随机谱扰动发生变化；Qwen2.5 中还观察到位置 0 的下一层查询—键偏好下降，且从更少训练数据估计的谱方向保持稳定。 论文称谱特征能补充当前注意力对形成时机和提示差异的判断，但预测强度在不同 cohort 间存在差异，作者因此将谱视为注意力汇前状态变化的一种读出，而非通用的预警统计量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。