RECAP：面向推理模型长历史的低比特量化校准方法

Chi Ruan等作者在arXiv发布RECAP论文，提出一种后训练量化校准方法，让推理模型在自身读取的长思维历史上进行校准，以缓解低比特量化对长链思维推理的损害。 方法包含两个组件：动态前缀校准处理长历史上下文，前缀读取几何处理缓存误差对注意力的影响；两者均仅在校准阶段使用。作者报告在W4A4KV4设置下，DeepSeek-R1-Distill-Qwen-1.5B在MATH500上较基线提升13.3个百分点，Qwen3-4B在AIME-120上提升15.8个百分点，并称该方法在多个推理模型和量化设置下均优于基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。