SNAP：视觉-语言预训练中合成困难负样本的有效机制分析

基于论文摘要，作者分析六种表示空间合成策略，指出视觉-语言预训练中存在负样本过于容易或接近查询、模态内构造混入正样本两类失败模式，并提出SNAP生成不涉及任一模态正样本的模态内困难负样本。SNAP不依赖外部生成模型、适用于不同模型，训练时间开销低于10%，并在CLIP和FLIP的零样本检索、零样本分类及线性探测评估中实现一致改进；研究还发现固定温度可改善下游表现。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。