GCD方法揭示BBQ偏差分数受答案可答性混淆

Weitong Li、Donglin Song、Junkai Lin、Xi Xuan 在 arXiv 论文（2610.17641）中指出，BBQ 基准的偏差分数存在答案可答性混淆：其 ambiguous score 可分解为 answerability 与 signed preference 两部分，因此对比式引导降低该分数未必代表真实偏好改变。在 11 个类别、28,824 个条目和 5 个模型上，对比式引导虽在全部 11/11 类别降低 signed ambiguous score，却只在 8/11 类别降低 signed disambiguated preference score。 为减少激活引导中的答题率失真，研究者提出带一阶 unknown-logit 约束的梯度约束方向设计（GCD）。在匹配的 Qwen-7B 协议下，GCD 将答题率失真降低 14 倍，偏好变化扩大 4 倍。消融显示其他选项梯度方向和不受约束方向有类似增益，仅置零 unknown 梯度不产生该收益。以上结果基于论文摘要。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。