论文研究LLM裁判评分格式对数据筛选的影响

Lovedeep Gondara 等作者发布论文（arXiv:2610.17158），研究 LLM 裁判评分格式对指令微调数据筛选的影响。在固定候选池、评审提示词、解码和选择预算的条件下，用 3 个评审模型以 5 种评分格式为 15,406 条 UltraFeedback 候选数据评分、筛选，再微调 66 个模型，并用 4 个评审模型评估。 结果显示：0—100 评分实际只使用 7—12 个有效等级；二元判定在 77%—78% 的提示中出现并列最高分，使数据选择高度依赖随机打破并列。下游表现上，各评审模型下筛选出的数据均优于随机选择，且对长度和 markdown 调整稳健；但作者称不同格式之间未检测出稳定排序。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。