LoopQ：面向循环语言模型的训练后量化框架

Rui Fang 等提出 LoopQ，一个面向循环语言模型（LoopLM）的训练后量化框架，通过循环感知激活缩放、选择性变换、跨循环状态对齐和轨迹感知校准，缓解共享 Transformer 重复应用带来的分布偏移、状态复用与递归误差累积。 基于论文摘要，在 W4A4 量化下，该方法在四类骨干模型的五项任务上，相对每次比较中最强的静态 PTQ 基线，五任务平均准确率实现 67.8% 的平均相对提升；并对八个模型—数据集组合的平均困惑度相对降幅给出 75.2% 的保守估计。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。