ReViV统一重建观看者与场景4D动态

Xiaozhong Lyu等作者提出ReViV，用单次前向推理从单目第一视角RGB视频联合重建观看者与周围场景的4D表示，输出相机轨迹、视线、全身与手部运动及深度；作者称其在多个基准上达到领先精度与效率。 框架采用掩码生成式第一视角Transformer，以统一模型建模RGB视频与上述多模态信号，减少对重任务专用先验的依赖。作者在HoloAssist、HOT3D、ARCTIC、Aria Digital Twin和TACO上报告了实验结果，代码与模型已开放。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。