RLA-WM:用残差潜在动作学习视觉特征世界模型
作者提出残差潜在动作(RLA)和 RLA World Model(RLA-WM),通过预测 DINO 残差中的未来视觉特征来建模世界状态。RLA-WM 使用 flow matching 预测 RLA 值,摘要称其在模拟和真实世界数据集上优于现有特征型及视频扩散世界模型,速度快数个数量级;作者还提出两种利用该模型的机器人学习技术,分别用于改进 VLA 策略学习和仅基于离线视频的视觉强化学习。
动态展示门槛:AI 前沿与应用 ≥ 65 分,量子方向 ≥ 60 分;已确认精选照常展示。
作者提出残差潜在动作(RLA)和 RLA World Model(RLA-WM),通过预测 DINO 残差中的未来视觉特征来建模世界状态。RLA-WM 使用 flow matching 预测 RLA 值,摘要称其在模拟和真实世界数据集上优于现有特征型及视频扩散世界模型,速度快数个数量级;作者还提出两种利用该模型的机器人学习技术,分别用于改进 VLA 策略学习和仅基于离线视频的视觉强化学习。
WorldSonus提出一种面向世界模型的实时视频到音频框架,用于生成与场景几何和相机运动对齐的空间立体声。基于论文摘要,该方法采用流式因果自回归扩散架构,报告实时因子为0.41,并通过分段提示调度支持生成过程中的声音事件控制。