36Kr Europe · English·· 3 小时前
GLM-Omni论文：联合训练与视觉思维链将文本问答准确率提升至41.14%
Tang Jie's signed paper reveals the in-house multimodal model, is the next-generation GLM on the horizon?
研究任务与主要进展
清华大学与智谱AI团队在arXiv论文中介绍9B多模态模型GLM-Omni，并表明视觉生成信号可帮助模型将图像知识迁移到语言问答。在MagicWorld虚构知识测试中，数字任务的图像生成准确率为72%，纯文本问答仅为2%；将生成、观察和回答放入同一训练序列后，平均文本准确率由12.57%升至26.86%，再采用视觉思维链升至41.14%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
来源：36Kr Europe · English · eu.36kr.com