研究者提出SMDA框架追踪SFT样本对模型行为策略的归因

Reza Habibi、Darian Lee 与 Magy Seif El-Nasr 发布论文，提出 Symbolic Mechanistic Data Attribution（SMDA）框架，用于将监督微调（SFT）训练样本归因到支配模型行为的可解释符号策略。框架通过特征激活变化（ΔX）和输出概率变化（ΔY）刻画训练样本如何塑造这些策略。 方法上，SMDA 在稀疏自编码器（SAE）特征上拟合闭式 Ridge 回归来建模某一行为。作为案例，作者在 Llama-3.2-3B-Instruct 上蒸馏出拒绝（refusal）行为的符号策略，并分析了 200 个 SFT 样本对。论文信息基于 arXiv 摘要，属作者提出的方法与案例研究。

AI 根据报道生成 · 3 小时前更新