激活感知方法改进大模型张量压缩

Beatini、Maronese与Rodolà提出激活感知权重张量化AWT：先按激活分布对权重矩阵作对角预条件，再以原TT/TTN求解器压缩，并在部署时仅增加输入侧逐元素缩放。基于论文摘要，该方法无需训练，在Llama 3.1 8B、Ministral 8B和Qwen2.5 7B的2—6倍压缩下均优于原始TT/TTN；单算子替换时，其WikiText困惑度与稠密基线的差距缩小12%—35%，增益也延续至HellaSwag和ARC-Challenge。 研究还比较了加权目标与留出功能保真度：稠密全协方差预言机在81个案例中的80个更优，但采用对角预条件的AWT在其中53个案例具有更好的留出功能保真度，说明优化目标与实际模型功能并非总是一致。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。