研究：LLM能诱导上下文新语义却难以用于下游任务

Michael A. Lepori、Tal Linzen、Ann Yuan、Katja Filippova 等人发布论文《Language Models Struggle to Use Representations Learned In-Context》，评估大语言模型能否将上下文中学到的表征用于下游任务。 研究先测试开放权重 LLM 在下一个 token 预测中使用上下文表征的能力，再用一个新任务“自适应世界建模”进行探测。作者称，开放权重 LLM 即使在潜在表征中编码了上下文中定义的新语义，也难以将这些表征有效用于后续任务；在自适应世界建模任务上，闭源的前沿推理模型也无法可靠利用上下文中呈现的新模式。

AI 根据报道生成 · 3 小时前更新