arXiv · cs.AI· Vardhan Dongre, Joseph Hsieh, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Dilek Hakkani-T\"ur·· 1 天前
大语言模型多轮交互中注意力关闭如何导致目标丢失
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
arXiv:2605.12922v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Vardhan Dongre, Joseph Hsieh, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Dilek Hakkani-T\"ur
研究任务与主要进展
作者提出“目标可访问性比率”（GAR）和通道转变框架，解释大语言模型在长程多轮交互中因对目标词的注意力下降而逐渐丢失指令、角色和规则。基于论文摘要，在 Mistral 中强制关闭注意力通道后，20事实保持任务的召回率降至11%，角色约束违规在交叉轮次出现；残差表示线性探针在四种主要架构上的AUC最高达0.99，而输入嵌入仍处于随机水平。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org