论文分析分层量化补偿的均方误差保证与失效条件

Tianhao Guo在论文中研究逐层后训练量化中，各层补偿前层继承的量化误差何时能保证网络输出均方误差不超过未补偿方案，并给出保证条件与失效边界。 论文给出的保证条件较严格：对任意深度的线性网络，要求校准Gram矩阵可逆，且每层舍入误差条件均值为零、两方案共享确定性的二阶矩映射（如无界网格上的减法抖动）。作者称，使用ReLU激活时该保证因两个独立原因失效；有界码本下，即使各层存在唯一精确最小化器且无过载，输出误差仍可能更大。 实验方面，摘要报告在两个8B模型的4比特量化中，固定半强度补偿在所测模型、文本和绘画任务上均优于未补偿舍入，但选择补偿强度的规则未能稳定超过逐层规则，且用于选择的全网络损失降低未能可靠转化为新文本上的改善。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。