DualQuant：免校准W4A4双尺度量化框架论文

Mahsa Salmani、Sayeh Sharify、Hesham Mostafa 等在 arXiv 发布论文，提出 DualQuant——一种无需校准数据的后训练量化框架，联合最小化权重重构 MSE 并在激活量化前得到逐通道激活缩放，用变量分裂和块坐标下降求解，支持 MX 系列与 NVFP4 等格式。 论文声称在 Llama 和 Qwen 模型上，以 WikiText-2、C4 和零样本下游任务评测，DualQuant 在多数模型与格式上达到或超过基于校准的 SmoothQuant 的精度；作者称这些收益经 Llama-3.1-8B 在 RTX 4090 上的真实打包 W4A4 推理路径验证。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。