arXiv · cs.AI· Nathan Godey, Yoav Artzi·· 4 小时前
Copy-Paste语言模型通过显式复制头改善长上下文与检索能力
Copy-Paste Language Models
arXiv:2610.19247v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Nathan Godey, Yoav Artzi
研究任务与主要进展
Nathan Godey和Yoav Artzi提出Copy-Paste语言模型（CPLM），在传统语言模型头之外加入轻量Copy-Paste头，以显式建模上下文复制能力。基于论文摘要，CPLM在135M至1.7B参数规模的预训练模型和各骨干模型上改善了训练效率、下游性能，并提供新的长上下文与检索运行点，训练和推理开销影响很小；作者还认为该方法通过替代梯度路径部分缓解语言模型头的梯度瓶颈。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org