arXiv · cs.AI· Jia Li, Yinfeng Yu·· 1 天前
两阶段多模态学习用于动态音视频导航：从物理对齐到场景聚合
Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
arXiv:2610.14077v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jia Li, Yinfeng Yu
研究任务与主要进展
作者提出两阶段多模态学习框架，用于让智能体在动态声源环境中联合视觉与听觉线索定位声音目标。框架包含基于物理信息对齐声音强度与视觉几何的 ICGE，以及通过 Transformer 融合多模态特征构建状态表示的 CMSA。基于论文摘要，作者在 Replica 和 Matterport3D 实验中报告了领先的成功率，并称其改善了复杂环境、未听声音类别下的泛化与导航效率。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org