SHAP对SAE特征的因果忠实性评估

Samuel Xie与Noura Al-Moubayed发布论文，在SST-2情感分类任务上，用GPT-2 Small第7层、含32,768个特征的SAE作为测试平台，将SHAP等归因方法与直接因果干预对比，评估归因对SAE潜在特征的因果忠实性。 结果显示：多数测得的忠实性关联在多重比较校正后不成立；各归因方法彼此相关性较强（ρ=0.42–0.80），但与实测因果效应一致性差。在已知真值的最小对样本上，归因对插入的情感信号恢复明显好于随机（AUROC 0.792），但无法定位删除的特征（AUROC 0.520）。基线包括Integrated Gradients、Gradient×Input和探针权重。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。