论文用注意力探针研究统一VLM条件引导并提出HeadTuned-CFG

Zhengyang Luo 等发布论文（基于论文摘要），逐个探查统一视觉语言模型（VLM）的注意力头，研究其在文本生成图像和图像生成文本两个方向上处理条件引导的方式，并提出推理时方法 HeadTuned-CFG：利用识别出的对条件变化敏感的注意力头，在注意力头层面选择和调节 classifier-free guidance（CFG）的条件引导，无需额外训练。 在自回归和掩码扩散两类范式的两个统一 VLM 上，探测发现一部分注意力头对条件变化敏感，其余则对条件不敏感。实验报告在两类模型的双向生成任务上均有一致收益，其中文本生成图像方向相对强基线改进较大。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。