提出MIPS方法缓解大结果空间强化学习模式坍塌

Armaan Sandhu、Abhijeet Sinha和Dianbo Liu在arXiv（2610.19457）提出MIPS（Marginal IPS），通过将采样轨迹与学习到的、通往各结果的轨迹模型结合做边缘评估，缓解大结果空间中基于频率估计的IPS导致的模式坍塌。 据论文摘要，在可精确计算采样分布的Hypergrids上，随结果空间相对采样组增大，MIPS仍接近奖励分布目标，而频率IPS退化；在分子合成和系统发育推断任务中，MIPS维持了多样化的高质量采样，GRPO和频率IPS则出现模式坍塌。以上结果基于论文摘要，尚属作者声称。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。