跳到正文
热点事件持续更新

GBLM-Pruner:基于梯度的免训练LLM剪枝方法

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Rocktim Jyoti Das 等发布论文,提出面向预训练大语言模型的剪枝方法 GBLM-Pruner:利用少量校准样本的归一化一阶梯度(泰勒展开一阶项)确定剪枝指标,无需后续重训练或权重更新。作者称,在 LLaMA、Qwen 和 DeepSeek 系列模型及零样本、STEM 推理、编码基准上的评估中,该方法大幅超过幅值剪枝和 Wanda,并与需要大量权重更新的 SparseGPT 具有竞争力。代码和模型已在 GitHub 公开。以上结论基于论文摘要,摘要未提供具体性能数字和实验条件,本站未核验全文。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · cs.AI
    GBLM-Pruner利用梯度改进大语言模型稀疏剪枝

    GBLM-Pruner提出一种面向预训练大语言模型的梯度驱动剪枝方法,利用少量校准样本和归一化一阶梯度确定剪枝指标,无需后续重训练或权重更新。基于论文摘要,该方法在LLaMA、Qwen和DeepSeek模型及零样本、STEM推理、编码基准上超过幅值剪枝和Wanda,并与需要大量权重更新的SparseGPT具有竞争力;代码和模型已公开于GitHub,但摘要未提供具体性能数字和实验条件。

本事件热度走势

可比范围当前
8
可比范围峰值
910月15日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。