arXiv · cs.AI· Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi·· 5 小时前
GraphDPO将语言模型成对偏好优化扩展为偏好图优化
Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph
arXiv:2605.08037v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi
研究任务与主要进展
Ning Liu等人提出GraphDPO，将直接偏好优化从独立成对比较扩展到由多轮rollout排序形成的有向无环偏好图，并设计受Plackett--Luce启发的目标函数聚合被支配邻域监督。方法可传递偏好传递关系，通过等价类处理并列和不可比较响应，同时保持每个prompt的线性复杂度；在推理和程序合成任务上的实验由摘要报告为优于对比方法。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org