线性奖励模型满足偏好对齐公理的松弛代价研究

作者研究在线性奖励模型中强制满足偏好对齐公理所需的松弛代价，并报告当候选数为 m 且 η 不超过 O(1/m²) 时，最优总松弛量为 $O(1)$，该速率在常数意义下达到紧致上界。方法为错误比较中的线性部分引入惩罚，通过参数 λ 权衡总松弛量与违反次数；作者称松弛量随 λ 单调增加但会饱和。摘要称，该方法在合成和真实偏好数据上进行了实验，部署奖励优于线性 BTL，但未说明具体数据规模与实验条件。