arXiv · cs.AI· Ponhvoan Srey, Xiaobao Wu, Cong-Duy Nguyen, Quang Minh Nguyen, Duc Anh Vu, Anh Tuan Luu·· 7 小时前
大语言模型探针不确定性估计的因子化研究
From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models
arXiv:2606.27679v2阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Ponhvoan Srey, Xiaobao Wu, Cong-Duy Nguyen, Quang Minh Nguyen, Duc Anh Vu, Anh Tuan Luu
研究任务与主要进展
作者提出在匹配条件下对大语言模型探针式不确定性估计开展因子化研究,分别考察特征设计、训练数据构造和评测设置对性能的影响。摘要报告,原始隐藏状态和注意力特征在域内难以超越同类方法,但结构化压缩特征在分布偏移下更稳健;提示与标签构造也会显著影响探针行为。基于基准预训练的探针在开放式事实生成上保留了有用的判别信号,并相较有限标签的目标域探针和基于采样的估计器具有竞争力,可作为后续目标域适配的起点。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org