参数轨迹crosscoding追踪语言模型读出矩阵学习动态

Matteo He 等在 arXiv 论文（2610.21025）中提出参数轨迹 crosscoding 方法：为每个检查点上每个 token 的读出（unembedding）行拟合一个稀疏字典，直接追踪语言模型预训练中读出矩阵的变化。 基于论文摘要，用该方法分析 Pythia 预训练，发现在进度约 0.4%–1.1% 的早期窄窗口内读出发生重组，WordNet 词类可从读出行解码；而隐藏状态的线性探针能更早解码出模型输出尚未呈现的任务信息，说明从输出读取的时间线会把模型编码的内容与读出表达的内容混在一起。 作者还从零预训练仅改变读出学习率的小模型，结果显示提高读出学习率使读出更早发展、缩短上述差距，且对最终损失影响较小。

AI 根据报道生成 · 3 小时前更新