论文提出KTP探测视觉生成知识迁移

1. 12:00
   arXiv · cs.AI

   统一多模态模型能否通过视觉生成扩展知识？

   研究提出知识迁移探测（KTP）协议，通过图像生成训练向预训练统一多模态模型注入新知识，再用纯文本问答测试其可访问性。在覆盖七个知识类别和三个统一多模态模型的实验中，作者观察到视觉监督向语言能力存在直接但不均衡的迁移，并发现文本对齐与交错图文对齐可改善部分知识访问。分析还指出，正确生成到图像中的知识往往更容易通过文本访问，但两种访问方式之间仍存在明显差距；当前材料仅提供论文摘要，未说明具体实验细节。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。