提出PiSO后训练量化尺度优化算法

Juan Amboage 等论文作者发布 PiSO（Piecewise Scale Optimization）后训练量化算法，利用量化输出重建误差关于尺度呈分段二次、网格分配分段常数的性质，通过校准数据高效选择通道级尺度，据称以任意精度获得全局最优输出重建误差，并扩展到组级量化。 论文实验基于 Llama 和 Qwen 系列模型，覆盖多种规模与位宽，结果显示困惑度和零样本准确率持续提升，单独使用或与误差修正（error correction）结合均有效，且位宽越低提升越大。作者举例：在 Llama-3 上，PiSO 将 Qronos 的 2-bit 困惑度最多降低 7 倍；3 bit 时，不带误差修正的 PiSO 优于使用 absmax 尺度的 GPTQ。上述结果为论文报告数据，本站未独立复现。

AI 根据报道生成 · 2 天前更新