arXiv · cs.AI· Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen·· 11 小时前
LoopQ：面向循环语言模型的训练后量化框架
LoopQ: Quantization for Looped Language Models
arXiv:2605.16343v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen
研究任务与主要进展
LoopQ是一种面向循环语言模型的训练后量化框架，通过循环感知激活缩放、选择性变换、跨循环状态对齐和轨迹感知校准，缓解共享Transformer重复应用造成的分布偏移、状态复用与递归误差累积。基于论文摘要，在W4A4量化下，该方法在四类骨干模型的五项任务上，相对每项比较中最强静态PTQ基线实现平均准确率相对提升67.8%，并在八个模型—数据集组合上对平均困惑度相对降幅给出75.2%的保守估计。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org