VLM物理推理奖励研究：外部奖励主导增益，内部注意力奖励可低成本补充

Derek Lilienthal、Manisha Mukherjee 和 Sameera Horawalavithana 在 arXiv 发布论文（v2），比较外部奖励与基于模型自身注意力的内部奖励对视觉语言模型物理推理训练的作用。外部奖励依赖外部验证器（规则式格式与答案正确性检查，或 LLM 评审）；内部奖励从模型对图像区域的注意力计算，不需要标签或评审模型。 作者发现：准确率提升主要来自外部奖励，而对推理 token 给予奖励时能保留更连贯的推理；把内部注意力奖励加到格式与准确性奖励中，无需额外标注成本，可提升 Molmo~2 的平均准确率并泛化到分布外任务。以上为论文摘要中的作者结论，本站未核验全文。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。