研究提出任务上下文重塑语言模型组件角色的网络视角分析

Sovesh Mohapatra 与 Dani S Bassett 发布论文（arXiv:2610.13895），从网络视角分析任务上下文如何改变语言模型内部组件的计算作用，发现相同注意力头会响应不同图事实，并以不同方式影响后续计算；任务变化会在五个开源权重模型（覆盖四个家族、1.5B–14B 参数）中重新分配组件影响。 基于论文摘要，在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑会改变早期内部激活向量并切换模型读取的事实，而书面指令保持不变；在独立事实干预下，使用对应条件的线性响应映射，使后续注意力头响应的平均平方预测误差相对两个条件映射平均值分别降低 53.6%（Gemma）和 5.0%（Qwen）。

AI 根据报道生成 · 3 小时前更新