GLANCE用单轮块推测解码加速视觉语言模型

Jungseob Lee等提出GLANCE，一种面向视觉语言模型的无损单轮块推测解码方法。该方法在不修改目标模型的情况下，读取其已融合的视觉语言状态，一次生成整块候选树，再由目标模型一次验证并提交原本的贪心输出，因而据称不会改变解码结果。 论文称，在一个生产引擎和固定轮次预算下，GLANCE相对自回归解码最高加速3.05倍，平均超过生产版EAGLE3-VL，并在有 grounding 任务中约快11%。代码已公开，但这些结果目前来自arXiv论文摘要陈述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。