长目标重标注削弱策略泛化

John L. Zhou、Yuxuan Dong和Jonathan C. Kao在预印本中报告，受控实验显示，训练时增加目标重标注时域，会显著降低目标条件行为克隆策略的泛化与性能；即使测试目标只是邻近子目标，训练时域较长的策略仍会退化，强化学习目标可缓解这一影响。 研究使用预言机规划器分离训练时采用的目标时域与测试时要求达到的目标。作者将该现象解释为动作与事后重标注目标之间的条件互信息随时域增加而下降；输入Jacobian实验还显示，长时域训练使行为克隆和强化学习策略更依赖状态信息、而非目标信息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。