MoL通过动态层路由提升多模态大模型细粒度视觉推理

MoL提出一种由指令驱动的视觉编码器中间层动态路由方法，根据文本查询聚合与问题相关的隐藏状态，以改善小物体、空间细节、文字和细微视觉属性的细粒度视觉推理。基于论文摘要，作者在7项任务上报告了相对基线多模态大模型的提升：V*总体准确率提高18.9%，HRBench4K提高4.5%，CharXiv提高16.3%；实验未使用多分辨率输入、多个视觉编码器或增加patch token。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。