论文提出用run-to-run噪声校准SFT可解释性分析

Xupeng Chen 等在 arXiv 论文中提出一种以后训练可解释性方法：先测量同一 SFT 配方多次运行之间的噪声带，再判断训练引起的结构变化是否超出该噪声。在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过各自与基础模型距离的一半，而基础模型到 SFT 的结构位移比四次独立运行的平均成对距离高出 17.8 个标准差，说明 SFT 在激活几何中留下可复现签名；预注册估计器在 Llama-3.1-8B 与 Llama-Scope 上复现了该结果。 作者明确限制结论范围：全部噪声带基于同一 GPU 架构构建的图，完整协议只覆盖一个骨干模型、一种 SFT 配方和通用文本探测状态；部分阶段特异性分析在不同预算下方向反转、另一项未通过忠实性门槛，因此作者只声称校准后的结构位移，不声称机制改变。对轻量 GRPO 的未检出是次要的非检测结果，未做等价性检验，不能解释为 GRPO 无影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。