arXiv · cs.AI· Fan Yang, Yue Song·· 8 小时前
研究发现注意力汇形成前存在隐藏状态谱重组
Before Attention Sinks Form: Hidden-State Geometry Reveals and Modulates Their Formation
arXiv:2610.16745v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Fan Yang, Yue Song
研究任务与主要进展
研究发现，注意力汇形成前约两至三层会出现隐藏状态谱重组，谱特征能够补充当前注意力对形成时机和提示差异的判断。仅依据论文摘要，研究人员在Qwen2.5、GLM-Z1和GPT-OSS中干预形成后隐藏状态的奇异值，发现其后续注意力汇行为相较范数匹配的随机谱扰动发生变化；Qwen2.5中还观察到位置0的下一层查询—键偏好下降，且从更少训练数据估计的谱方向保持稳定。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org