论文将高稀疏度LLM剪枝校准建模为能力覆盖问题

Hu Xu 等在 arXiv 论文中将高稀疏度 LLM 后训练剪枝的校准集构建建模为能力覆盖问题，提出 Balanced 与 IGSP 两种方法。作者报告在固定预算下，均衡四路混合校准策略优于所有评估的单数据源：相对 C4 的优势在 30% 稀疏率下为 4.6 个百分点，在 60% 稀疏率下扩大到 18.8 个百分点。 IGSP 只依据基础模型和评估分类体系近似该混合策略；作者称在 Qwen2.5-7B 上，IGSP 在主测试套件和留出基准上均超过 Balanced。以上为论文报告结果，基于论文摘要。

AI 根据报道生成 · 3 小时前更新