NSG量化大模型自解释忠实度

Harry Mayne等人提出归一化可模拟性增益（NSG），用于评估大语言模型的自解释能否帮助观察者预测模型在相关输入上的行为。基于论文摘要，研究在健康、商业和伦理领域的7000个反事实样本上评估了18个前沿专有及开放权重模型，报告NSG为11%–37%，自解释优于更强外部模型生成的解释。 研究同时判定不同模型中5%–15%的自解释具有高度误导性，表明自解释虽能提升行为预测力，整体忠实度仍不稳定；上述结果目前仅来自论文摘要。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。