跳到正文
arXiv · cs.AI· Hanane Nour Moussa, Doeun Lee, Sachin Kumar·· 7 小时前

EliteReplay通过质量-多样性搜索在大模型后训练中保留多样化解法

EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search

arXiv:2610.22290v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Hanane Nour Moussa, Doeun Lee, Sachin Kumar

研究任务与主要进展

EliteReplay将GRPO与基于质量-多样性搜索的elite archive及回放损失结合,用于提升大模型在可验证任务上的准确率并保留基础模型的多样化解法。基于论文摘要,在多个Text-to-SQL任务上,该方法的pass@128高于所有基线,产生最多比最强基线多77%的不同正确策略,并保留基础模型的大部分正确策略;在AmbiQT含歧义问题上,覆盖两种解释的频率接近最强基线的两倍。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org