无需训练的结构化剪枝方法LayerTrim裁剪MLP保推理

Woosang Lim 等在 arXiv 发布论文，提出无需梯度或恢复训练的结构化剪枝方法 LayerTrim：识别冗余解码层，只裁剪其中的 MLP 特征，同时保留注意力和解码深度，以降低推理语言模型的推理成本。 作者称这是首个面向保留长程推理的训练free结构化剪枝方法。在三个推理语言模型、五个基准上，LayerTrim 在大多数评估设置中优于现有结构化剪枝方法，平均准确率最高比 RESP 提升 21.4 个百分点。在 Qwen3-14B 上，相比稠密模型获得 1.24 倍 prefill 加速和 19.7% 的峰值 GPU 显存降低，同时更好保留推理能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。