LLM探针式不确定性估计的因子化对照研究

1. 12:00
   arXiv · cs.AI

   大语言模型探针不确定性估计的因子化研究

   作者提出在匹配条件下对大语言模型探针式不确定性估计开展因子化研究，分别考察特征设计、训练数据构造和评测设置对性能的影响。摘要报告，原始隐藏状态和注意力特征在域内难以超越同类方法，但结构化压缩特征在分布偏移下更稳健；提示与标签构造也会显著影响探针行为。基于基准预训练的探针在开放式事实生成上保留了有用的判别信号，并相较有限标签的目标域探针和基于采样的估计器具有竞争力，可作为后续目标域适配的起点。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。