环路语言模型潜在推理的可解释性检查协议

Pawel Olszowiec 等在 arXiv 发布工作，构建了一套基于机制可解释性、包含五个视角的检查协议，用于分析环路语言模型（looped LMs）的潜在推理，并应用于四个家族共八个模型。 作者指出这些模型的关键区别在于提示传递方式：carry loops（Ouro、LoopUS）仅在循环状态内传递提示，re-read loops（Parcae 及 Raven 家族的 Rec-OLMo 与 Huginn）则在每次迭代时重新提供提示。 该工作属于可解释性分析协议的提出与应用，其结论范围限于所考察的八个模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。