提出LoopQuant：循环Transformer低比特后训练量化框架

Zhixiong Zhao 等发布LoopQuant论文并开源代码，这是面向Looped Language Models（循环Transformer语言模型）的低比特训练后量化框架，通过CLDC、ILPA和LCTC三个模块处理跨循环激活动态、精度分配与递归误差传播问题。 基于论文摘要：在Ouro-2.6B模型上，LoopQuant的W4A4配置性能超过所有W4A8基线，相较朴素INT4仅增加3.4%存储开销，模型内存减少65.3%，解码速度较BF16提升1.7倍。结果目前为论文作者声称，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。