静态词嵌入解释部分语言模型解码结果

Elan Barenholtz 在 arXiv 论文中比较语言模型激活与静态词嵌入，发现固定、上下文无关的词向量可解释地点、时间、疼痛和情绪四类案例中的相当一部分解码结果。静态向量预测地点坐标及历史人物死亡年份的 R² 为0.42–0.59，区分疼痛与匹配句子的留出 AUC 为0.85–0.88，分类十二种情绪的 AUC 为0.84–0.88。 结果表明，仅凭属性可被解码，无法区分模型是否形成了该属性表示，还是利用了固定分布关联中的信息。作者同时指出，语言模型在表示测试中仍有明显优势，该基线不涉及因果或行为结论。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。