Runoff方法消除System One模型选择题选项顺序偏差

Jianguo Huang、Yao Long Teng、Yanchen Deng、Bo An在arXiv论文中提出Runoff方法，使System One模型在选择题上按构造消除选项顺序对答案的影响：先对每个选项单独评分筛出少量候选，再让每个候选在不同列表位置中轮流出现后比较，选出最终答案。 该方法无需训练，可用两次前向传播完成。论文称在两个开源模型和五个数据集上，打乱选项顺序时Runoff不改变任何答案，而循环平均基线会改变9.3%的答案；在20个选项时准确率与基线相当，速度快三到四倍。以上结果基于论文摘要，尚属作者声称阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。