arXiv · cs.AI· Walter Simoncini, Dheeraj Varghese, Gertjan J. Burghouts, Cees G. M. Snoek·· 5 小时前
研究者提出无需重训练的 Transformer 弹性化方法
Your Transformer Is Secretly Elastic
arXiv:2610.20588v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Walter Simoncini, Dheeraj Varghese, Gertjan J. Burghouts, Cees G. M. Snoek
研究任务与主要进展
研究者提出一种无需重新训练的 Transformer 弹性化方法，可让单个预训练模型在多种计算预算下按需调整稀疏度。该方法通过软剪枝联合排序 MLP 神经元和注意力头，在27个规模为22M至8B参数的视觉与文本编码器上实现最高60%稀疏度，并改善深剪枝表现。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org