跳到正文
arXiv · cs.AI· Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Jiaxin Li, Weishi Wang, Daniel Dahlmeier, Jintao Chen, Yongliang Shen, Xuhong Zhang, Jianwei Yin, Yueting Zhuang, Wenqi Zhang·· 11 小时前

Spatial-Interactor通过物理世界交互学习视觉语言模型空间推理

Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World

arXiv:2609.23038v2阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Jiaxin Li, Weishi Wang, Daniel Dahlmeier, Jintao Chen, Yongliang Shen, Xuhong Zhang, Jianwei Yin, Yueting Zhuang, Wenqi Zhang

研究任务与主要进展

研究者提出 Spatial-Interactor 框架,让视觉语言模型通过与可观察物理世界交互,学习物体运动和视角变化引起的状态转换。该框架构建 LSI-108K 数据集,采用包含被动世界状态、主动自身状态和长程交互轨迹的三级课程,并以 SFT 和 On-Policy Distillation 进行两阶段训练;摘要称其在多个视觉语言模型和空间基准上提升了局部状态转移建模与长程整合能力。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org