研究：语言模型数值自评反映提问后状态而非提问前

Nicolas Martorell 与 Bruno Bianchi 发布论文（arXiv v3，基于摘要），研究语言模型数值自我报告实际测量什么：他们在八个指令微调模型上为 wellbeing、interest、focus、impulsivity 四个情感概念训练探针，在多轮对话中追踪这些状态。 研究发现，评分提问本身会改变被测的内部状态；数值评分与提问前的探针得分仅弱相关，却更强地跟随提问后的探针得分。这种关系也缺乏概念特异性，且在 1B 至 27B 的模型规模上均未改善。 作者据此警告提问对被测状态的影响，并提醒不要将数值自评作为这些状态的可靠测量手段。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。