残差流预测LLM评判位置敏感性

Shaik、Villuri和Doboli基于论文摘要报告：用LLM作出评判前的残差流激活，可预测候选答案调换顺序后其评判是否翻转。正则化线性探针在534个JudgeBench样本对上取得0.621—0.850的AUROC，较结合语言化置信度、评判标签logit、回答长度和初始选择的基线高0.062—0.113。 探针在三个Qwen3评判器和Llama-3.1-8B上训练后冻结，在1,802组MT-Bench比较中取得0.685—0.853的AUROC，且未用MT-Bench拟合或重新校准。该方法用于事前识别位置敏感样本，并非纠正评判结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。