跳到正文
arXiv · cs.AI· Qiyan Zhao, Xiaofeng Zhang, Xu-Yao Zhang, Shijie Han, Zhepeng Li, Shunzhi Zhu, Da-Han Wang·· 7 小时前

CoTA++:从信息流视角缓解扩散式多模态大模型的重复诅咒

CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective

arXiv:2610.23290v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Qiyan Zhao, Xiaofeng Zhang, Xu-Yao Zhang, Shijie Han, Zhepeng Li, Shunzhi Zhu, Da-Han Wang

研究任务与主要进展

作者提出训练无关、可即插即用的CoTA++框架,通过上下文Token注意力重锚定、解码感知刷新和上下文Token熵引导投票,缓解扩散式多模态大模型近似缓存导致的重复生成问题。在三种模型和两种缓存后端上,该方法将长回答的样本重复率从最高99.6%降至最高17.0%,在9个基准上恢复大部分因缓存损失的准确率,并将缓存加速的额外开销控制在15%以内。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org