arXiv · cs.AI· Jiazheng Zhang, Wenqing Jing, Zizhuo Zhang, Zhiheng Xi, Shihan Dou, Rongxiang Weng, Jiahuan Li, Jingang Wang, Mingxu Chai, Shibo Hong, Yuming Yang, Chenhao Huang, Tao Gui, Qi Zhang, Xuanjing Huang·· 6 小时前
LLM 对齐研究提出协作奖励建模框架 CRM，应对偏好反馈噪声
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
arXiv:2505.10597v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jiazheng Zhang, Wenqing Jing, Zizhuo Zhang, Zhiheng Xi, Shihan Dou, Rongxiang Weng, Jiahuan Li, Jingang Wang, Mingxu Chai, Shibo Hong, Yuming Yang, Chenhao Huang, Tao Gui, Qi Zhang, Xuanjing Huang
研究任务与主要进展
Jiazheng Zhang 等人提出在线协作奖励建模框架 CRM，通过两个奖励模型相互评估样本选择，并用课程学习同步学习进度，以识别可靠偏好。论文摘要报告，在最高40%偏好噪声下，CRM 使 RewardBench 上的奖励模型泛化能力最高提升9.94分，并可扩展到隐式奖励对齐；材料仅提供论文摘要，未说明实验细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org