GBLM-Pruner:基于梯度的免训练LLM剪枝方法
热点事件持续更新
GBLM-Pruner:基于梯度的免训练LLM剪枝方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Rocktim Jyoti Das 等发布论文,提出面向预训练大语言模型的剪枝方法 GBLM-Pruner:利用少量校准样本的归一化一阶梯度(泰勒展开一阶项)确定剪枝指标,无需后续重训练或权重更新。作者称,在 LLaMA、Qwen 和 DeepSeek 系列模型及零样本、STEM 推理、编码基准上的评估中,该方法大幅超过幅值剪枝和 Wanda,并与需要大量权重更新的 SparseGPT 具有竞争力。代码和模型已在 GitHub 公开。以上结论基于论文摘要,摘要未提供具体性能数字和实验条件,本站未核验全文。
AI 根据报道生成 · 6 小时前更新
最新进展10月15日 12:00
GBLM-Pruner利用梯度改进大语言模型稀疏剪枝报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv · cs.AIGBLM-Pruner利用梯度改进大语言模型稀疏剪枝
GBLM-Pruner提出一种面向预训练大语言模型的梯度驱动剪枝方法,利用少量校准样本和归一化一阶梯度确定剪枝指标,无需后续重训练或权重更新。基于论文摘要,该方法在LLaMA、Qwen和DeepSeek模型及零样本、STEM推理、编码基准上超过幅值剪枝和Wanda,并与需要大量权重更新的SparseGPT具有竞争力;代码和模型已公开于GitHub,但摘要未提供具体性能数字和实验条件。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月15日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:0017:0018:0019:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。