清华智谱用视觉生成提升多模态问答
热点事件持续更新
清华智谱用视觉生成提升多模态问答
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
清华与智谱AI团队在arXiv论文中介绍9B参数模型GLM-Omni，称联合训练与视觉思维链可将图像中的虚构知识迁移至文本问答，在MagicWorld测试中使平均文本准确率由12.57%升至26.86%，进一步达到41.14%。 该模型基于开源GLM-4.1V-Thinking。MagicWorld数字任务中，图像生成准确率为72%，纯文本问答仅为2%；测试集包含7类知识、350个条目，并扩展为8552组图像训练样本。上述结果来自团队论文实验，尚未体现独立复现。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 08:00
GLM-Omni论文：联合训练与视觉思维链将文本问答准确率提升至41.14%报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- 36Kr Europe · EnglishGLM-Omni论文：联合训练与视觉思维链将文本问答准确率提升至41.14%
清华大学与智谱AI团队在arXiv论文中介绍9B多模态模型GLM-Omni，并表明视觉生成信号可帮助模型将图像知识迁移到语言问答。在MagicWorld虚构知识测试中，数字任务的图像生成准确率为72%，纯文本问答仅为2%；将生成、观察和回答放入同一训练序列后，平均文本准确率由12.57%升至26.86%，再采用视觉思维链升至41.14%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。