arXiv · cs.AI· Andrew Perrault (Relantic, Inc., Columbus, OH, USA), Anmol Takiar (Relantic, Inc., Columbus, OH, USA), Dominik Wienecki (Relantic, Inc., Columbus, OH, USA), Arnab Nandi (Relantic, Inc., Columbus, OH, USA)·· 11 小时前
RealityBench用11个模拟环境评测视觉语言模型记录物理工作的能力
RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
arXiv:2610.14397v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Andrew Perrault (Relantic, Inc., Columbus, OH, USA), Anmol Takiar (Relantic, Dominik Wienecki (Relantic, Arnab Nandi (Relantic
研究任务与主要进展
Andrew Perrault等人在Blender中构建11个模拟环境，评测26个视觉语言模型判断工作证明材料可接受性和理解任务相关环境状态的能力。基于论文摘要，模型在画面文字识别上表现较强，但难以读取测量值、判断细小部件及空间关系；最佳模型的可接受性判断与单个非作者人类评审难以区分。三个文档问题的测试显示，模拟环境中的模型排名可迁移到真实图像。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org