提出带Copy-Paste头的语言模型CPLM改善长上下文与检索

Nathan Godey和Yoav Artzi发布论文提出Copy-Paste语言模型（CPLM），在传统语言模型头之外加入轻量Copy-Paste头，以显式建模上下文复制能力，目标是改善长上下文与检索表现。 作者通过预训练135M至1.7B参数的模型验证，称在各规模和各骨干模型上均改善了训练效率与下游性能，并提供新的长上下文与检索运行点，训练和推理开销影响很小；作者认为该方法通过替代梯度路径部分缓解语言模型头的梯度瓶颈。 以上结果基于论文摘要，属于作者声称的预训练实验结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。