WorldSonus生成实时交互空间音频

Pengjun Fang等提出WorldSonus，一种面向世界模型的实时视频到音频框架，可生成与场景几何及相机运动对齐的空间立体声。基于论文摘要，实验报告实时因子为0.41，并称其在声学质量和空间对齐上匹配或超过双向模型。 该方法采用流式因果自回归扩散架构，通过立体声和环境声数据监督实现空间对齐；音频描述管线与分段索引提示调度支持生成过程中调整声音事件。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。