研究者提出TRACE码本编码框架降低分布式边缘推理通信开销

Muhammad Azlan Qazi 等在arXiv论文中提出TRACE（Transformer Residual Activation Codebook Encoding），将向量量化器置于每层Transformer的注意力后残差处，用码本索引直接传输并恢复键值表示，以降低分布式边缘推理中的通信量和接收端计算。 作者声称，在ViT-Base（ImageNet-1K、CIFAR-100）和ViViT-B（UCF-101）实验中，相比最先进的基于VQ的分布式推理框架，TRACE准确率最高提升1.89%，端到端推理最高加速1.27倍；相比未压缩的序列并行推理，通信开销最多降低22,624倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。