跳到正文
热点事件持续更新

提出免训练ViT令牌压缩框架Prune-and-Merge

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Vatsal等在arXiv论文摘要中提出免训练的Prune-and-Merge ViT框架,可直接压缩现成视觉Transformer中的令牌,方法结合基于类别注意力的剪枝与基于相似度的合并,并配套提出RAD和PFR两个鲁棒性评估指标。 作者称,该方法在预训练ViT和DeiT上竞争性地降低计算量,同时保持对常见图像变换的预测稳定性,准确率优于现有令牌缩减方法。以上说法基于论文摘要,材料未提供实验规模、基线细节或全文核验信息。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.AI
    Prune-and-Merge ViT:无需训练的视觉Transformer剪枝-合并Token压缩

    Vatsal等在论文摘要中提出无需训练的Prune-and-Merge ViT,用于压缩现成视觉Transformer中的Token。方法结合基于类别注意力的剪枝与基于相似度的合并,并在预训练ViT和DeiT上提升效率,同时保持对常见图像变换的预测稳定性;作者还提出RAD和PFR用于评估鲁棒性。基于论文摘要,材料称其准确率优于现有Token缩减方法,但未提供实验规模、基线细节或全文核验信息。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。