CRAFT：冻结权重的低秩干预缓解持续学习遗忘

1. 12:00
   arXiv · cs.AI

   CRAFT：面向持续学习的遗忘感知干预适配

   Md Anwar Hossen等人提出CRAFT持续学习框架：冻结大语言模型权重，仅学习隐藏表示上的低秩干预，以减少新任务学习导致的灾难性遗忘。该方法根据任务对输出分布的影响判断相似性，通过KL惩罚保持既有行为，并在最深层的任务私有干预中保留专用容量；摘要称其在多个基准和模型规模上相较LoRA方法提升整体表现、减少遗忘，并对任务顺序保持稳健。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。