CU-DPO：用连续效用分数改进DPO提升推理

Mohsin、Umer与Fox提出连续效用直接偏好优化框架CU-DPO，将DPO中的二元偏好标签替换为反映细粒度推理质量的连续分数，以对齐模型到基于提示的认知策略组合。作者证明使用K种策略学习可获得相较二元偏好Θ(K log K)的样本复杂度提升，并证明DPO收敛到熵正则化的效用最大化策略。 实验方面，作者报告在七个基础模型上将数学推理的策略选择准确率从35–46%提高到68–78%，同分布下游推理最高提升6.6个百分点，并显示一定的分布外迁移；该方法在代码生成和因果推理基准上也报告了持续改进。作者称该框架是领域无关的，适用于可分解出连续效用信号且存在认知上不同解题策略的任务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。