论文发现减轻语言模型上下文诱引的共享注意力头干预

Jinghan Zheng 和 Jiajun Shi 发布论文，基于论文摘要，研究在 19 类词汇—语义关系的事实干扰关系补全任务上，识别出消融后可减轻上下文诱引的注意力头，并测试这些头集合在精确关系、语义家族和混合关系分布间的恢复能力迁移。 结果显示：同语义家族之间的恢复能力迁移高于跨家族迁移；移除全局共享头后家族特异性残余效应减弱；且按子类型分别搜索会反复找到许多相同的全局头，提示存在跨关系复用的共享组件。 清洁补全和上下文使用探针进一步提示，该共享干预可能在减少有害复制的同时保留普通关系补全与简单上下文学习能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。