研究视觉Transformer通过具体锚点接地抽象概念

Jing Ding、Ziqiao Ma、Jiayuan Mao、Joyce Chai、Freda Shi 等研究视觉 Transformer 在训练数据缺乏直接指称证据时如何接地抽象概念（如 angry），提出“转喻接地”假设：抽象预测由具体、可解释的锚点概念（如 fire）驱动，充当视觉信号与抽象语义之间的桥梁。 作者对 CLIP 和 DINO 视觉编码器应用 Transcoders，恢复出可对应具体概念语义标签的中间特征，并在精心整理的 icon 数据集上追踪抽象概念识别电路。结果显示电路呈结构化的转喻形式：早期层由感知基元主导，随后出现对象式锚点，再接抽象目标；含文字的图像则走另一条从感知到文本的路径。因果干预验证了转喻中间特征在抽象概念接地中的功能性作用。 以上结论基于论文摘要，实验范围为该 icon 数据集与 CLIP、DINO 两个编码器。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。