RealityBench：用模拟环境评测VLM记录体力工作

Andrew Perrault等人发布RealityBench基准，在Blender中构建11个模拟环境，评测26个视觉语言模型判断工作证明材料（图像）可接受性和理解任务相关环境状态的能力。基于论文摘要，最佳模型的可接受性判断与单个非作者人类评审难以区分（对照的评分器与多数评审一致的频率和单个评审相当）。 结果显示，当答案以画面内文字形式出现时，头部模型基本能完成记录任务，但在读取测量值、判断细小部件及空间关系上表现较弱。在有真实图像的三个文档问题上，模型在渲染画面上的排名可迁移到真实图像。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。