RaRE：用多评审器集成提升Rubrics as Rewards训练

UC Berkeley 的 Michael Tian-Yue Liu 等发布 arXiv 论文，提出 RaRE（Rubrics as Rewards with Ensembles），一种用于 RaR 训练的 LLM 评审器（judge）集成奖励策略。训练 Qwen3-4B-Base 执行 RaR-Medicine 和 RaR-Science 时，RaRE 在 HealthBench 和 GPQA Diamond 上优于所有单评审器 RaR 变体，实验覆盖五个前沿及开源权重评审器。 RaRE 包含两个机制：soft-Likert 奖励利用评审器的 logprob 为更自信的评审器赋予更高权重；分歧时剔除（drop-on-disagreement）机制把分歧较大的 rollout 从 GRPO 更新中排除。论文还指出，对评审器分数做简单平均并不能超过最佳单评审器，这也是该集成设计的动机之一。

AI 根据报道生成 · 3 小时前更新