提出抗偏好标签翻转攻击的鲁棒DPO方法

Chenye Yang、Weiyu Xu、Lifeng Lai 在 arXiv 提交论文，针对偏好标签翻转攻击提出 Trim-K Robust-DPO 和 Soft-Trim-K Robust-DPO 两种鲁棒 DPO 方法：前者直接移除影响最大的 K 个偏好样本对，后者对其平滑降权。方法依据是标签翻转会在 log-linear DPO 中引起与参数无关的梯度偏移这一性质。 作者称在 Stanford Human Preferences、HH-RLHF 和 UltraFeedback-Binarized 三个数据集上的实验验证了其分析。

AI 根据报道生成 · 13 小时前更新