九种方法评估15个LLM说服力一致性弱

研究者基于论文摘要，将九种已发表的自动化说服力评估方法应用于同一组15个LLM，平均Spearman相关系数仅为0.25，显示不同方法对模型说服力的排序一致性较弱。研究还发现，模型对部分任务的直接或间接拒答会使一致性降低约四分之一；多数非操纵性说服评估方法会随模型一般能力变化，而多数操纵性方法不会。作者据此认为，任务设置可能比具体评分方式更影响结果，但该判断仅基于八种可分析方法，属于指示性发现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。