跳到正文
arXiv · cs.AI· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 6 小时前

MSP通过模态自博弈训练多模态大模型,无需配对跨模态数据

MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

arXiv:2610.20965v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif

研究任务与主要进展

研究提出Modality Self-Play(MSP),利用未见模态的代理文本描述作为语义桥梁,在没有真实配对非文本数据的情况下训练多模态模型。基于论文摘要,模型在推理时可对多个模态进行组合与推理;作者还报告其在多个多模态基准上达到或接近最先进或竞争性表现,但具体实验设置与基准细节未提供。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org