研究通过反事实干预可视化了PPO价值函数中的世界模型

Shawheen Naderi、Fatemeh Akherati 和 Yubei Chen 在 arXiv 发布论文，通过反事实干预（固定状态其余部分、仅做针对性改动）可视化分析 Crafter 环境中 PPO 智能体的价值函数。 基于论文摘要，研究称仅以奖励训练的价值函数中包含钻石收集条件、水和食物影响健康、库存启发式等环境概念，提示价值函数可能形成部分世界模型；作者并讨论了安全影响及现有强化学习智能体的局限。该说法为作者结论，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。