GlobeBench基准发布：20个模型最高成功率49.57%

Nicholas Saban、Charvi Bannur、Mariya Vasileva 和 Darshan Deshpande 在 arXiv 发布 GlobeBench，一个评估文本世界模型根据完整智能体轨迹预测环境响应的基准，含 1,632 个任务、五个领域和十九种模拟技能。评测将模型预测的环境响应与执行得到的参考结果比较，采用确定性门控与语义裁判结合的混合架构。 对 20 个通用 LLM 和专用文本世界模型的评测中，GPT-6 Astra 任务成功率最高，为 49.57%；当智能体的修改需要传播到依赖对象时，20 个模型的平均成功率降至 5.1%；631 个任务没有任何模型解决。作者称这表明通用 LLM 作为世界模型的能力存在显著差距。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。