论文提出用 initiative vector 调节全双工语音模型话轮风格

Yuxuan Chen 等人在 arXiv 上发布论文，提出从全双工语音模型自身对话中提取单个晚层残差流方向（initiative vector）的方法，无需训练或标注，即可调节模型发起发言的倾向。 作者报告，该方向可在生成时提前最多 800 ms 预测发言起始点，并将模型语音占比从无引导时的 21%–30% 调节至 42%–61%；使用参考录音还可实现说话者特定的话轮风格迁移，更换其他说话者的参考后，93%–98% 的情况下匹配效果变差。上述结果来自论文声称，音频示例已在项目页面公开。

AI 根据报道生成 · 1 天前更新