提出两阶段多模态框架用于动态音视频导航

Jia Li、Yinfeng Yu 等作者发布论文，提出面向动态音视频导航任务的两阶段多模态学习框架，让智能体在动态声源环境中联合视觉与听觉线索定位声音目标。 框架包含两个模块：ICGE 基于物理信息将声音强度与视觉几何对齐，CMSA 通过 Transformer 融合多模态特征构建状态表示。 基于论文摘要，作者称在 Replica 和 Matterport3D 数据集的实验中取得领先的成功率，并称其改善了复杂环境、未听声音类别下的泛化与导航效率；以上为作者报告结果，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。