定位持续训练中的灾难性遗忘

研究者通过五种设置下的系统性参数冻结分析，发现大语言模型持续预训练和微调造成的灾难性遗忘主要集中于新语料中低频词的输出嵌入，而非模型主体中的对应频带。基于论文摘要，作者提出训练期间仅提高输出投影的 Adam epsilon，在160M至12B参数、四个模型族和八个设置中，于七个稳定配置里减少39.4%至67.9%的遗忘，并且不损害目标任务学习。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。