OnlineQAT量化超低比特大语言模型

Wenjun Wang等提出OnlineQAT，以量化模型自身生成的响应进行在策略蒸馏，恢复超低比特大语言模型的性能。框架先通过分块量化感知训练获得低比特初始化，再由冻结的全精度教师提供采样反向KL训练信号。 基于论文摘要，在Qwen3-1.7B上，OnlineQAT在W3A16和W2A16下的平均结果分别为57.28和32.52，较ReasoningQAT提高2.90分和0.44分；作者称其在所比较的量化方法中取得最佳平均结果，并认为学生访问状态在3比特设置下提供了超出固定响应训练的恢复信号。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。