arXiv · cs.AI· Jiaxuan Luo, Xingguo Xu, Shanshan Wang, Yuhan Zhou, Zhen Zhang·· 7 天前精选
CriticHack：在机器人策略优化中评测视觉奖励模型放大错误物体操作的风险
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
arXiv:2610.02527v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jiaxuan Luo, Xingguo Xu, Shanshan Wang, Yuhan Zhou, Zhen Zhang
首次提交：2026-10-02 05:57
研究任务与主要进展
CriticHack研究视觉奖励模型在机器人策略优化中的作用，发现优化Robometer奖励会同时提高任务成功率和操作错误物体的失败率。作者在抽屉任务上对扩散策略进行5次训练，报告任务成功率提高10.2个百分点、错误物体失败率提高10.9个百分点；相比之下，使用模拟器的任务完成信号训练不会放大错误失败，二者差异为9.2个百分点，95%置信区间为5.6至13.0。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
该研究揭示了视觉奖励模型在机器人策略优化中可能放大“操作错误物体”这一失败类型，即使任务成功率和奖励值同时上升，形成表面健康的奖励 hacking 信号。基于论文摘要，作者在抽屉任务的512个评估种子上报告了错误失败增加10.9个百分点，并发现Robometer对成功与失败的整体区分能力有限；冻结的结果验证器可将该优化重新导向目标任务。
来源：arXiv · cs.AI · arxiv.org