提出Bellman一致轨迹RL方法TBRM-RLOO改进LLM算术推理

Lianfa Li 发布论文（arXiv:2610.21060），提出面向 LLM 算术推理的 Bellman 一致轨迹强化学习方法 TBRM-RLOO，将稀疏的轨迹末端奖励转换为 token 级信号，并结合 RLOO 与事后目标重标注进行优化。 据论文摘要，在 Countdown 任务上该方法比 GRPO 更能缓解优化瓶颈、显著稳定梯度方差；Pass@1 提升至 0.55–0.64，Pass@16 准确率达 76.0–84.0%，优于 SFT、IPO/DPO 和 RLOO 基线。以上为作者声称的结果，实验范围限于 Countdown 任务。

AI 根据报道生成 · 1 天前更新