SAGE：2比特向量量化后训练方法，保留95.3%精度并加速2.55倍

Xianglong Yan 等论文作者提出面向大语言模型 weight-only 2比特向量量化的后训练量化方法 SAGE，并开源了代码。作者称，在 Qwen3-30B-A3B 上该方法保留 BF16 模型平均基准分数的 95.3%，配合自研 CUDA 内核，相对 FP16 实现最高 2.55 倍非流式端到端加速。 方法包含两个组件：Energy-Stratified Grouping（ESG）通过能量分组保护敏感权重通道；Adaptive Bit Split（ABS）在固定码本预算下为每个权重矩阵分配方向码本与半径精度。以上数字与效果均为论文作者的声称。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。