arXiv · cs.AI· Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang·· 6 小时前
ELLSA 2：联合语音、表情与手势的全双工交互模型
Full-Duplex Interaction with Speech, Expressions and Gestures
arXiv:2610.21452v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang
研究任务与主要进展
作者基于论文摘要提出 ELLSA 2，一种联合语音交互与流式手势、表情生成的端到端全双工对话模型，并通过语义调用与模板引导改善语义手势质量。实验摘要显示，该模型在对话感知手势和表情指标上优于级联基线，在开源全双工语音交互模型中保持竞争力；参考式多模态大语言模型评分与人类判断具有较强相关性，但目前仅作为初步指标。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org