提出无需重训练的弹性Transformer剪枝方法

Walter Simoncini 等在 arXiv 论文（arXiv:2610.20588）中提出一种无需重训练的 Transformer 弹性化方法：通过软剪枝联合排序 MLP 神经元和注意力头，把单个预训练模型变为可在连续计算预算内即时调整稀疏度的单一模型。 在 27 个参数量 22M 至 8B 的视觉与文本 Transformer 编码器上，该方法实现最高 60% 稀疏度的平滑性能退化，并在深度剪枝下优于一刀切基线。例如将 DINOv3 ViT-H+/16 剪至 50% 稀疏度时移除 427M 参数，ImageNet-1k 线性探测准确率仅下降 0.8%，且无需权重修正或重训练；60% 稀疏度的 AugReg ViT-B/16 在 A100 GPU 上吞吐量最高提升 1.80 倍、单查询延迟降低 1.26 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。