局部代理网络方法降低Transformer训练内存

Wu S. Zihan 等在 arXiv 发布论文，提出为每个 Transformer 模块训练局部代理网络：代理网络通过蒸馏全局网络输出并独立传播梯度，从而避免标准端到端反向传播需要保存全部激活的内存开销。 论文称该方法在理论上对深层线性网络的梯度估计精确；对非线性残差模型，使用合适的残差代理时可以界定梯度误差。基于论文摘要，数值实验在 CIFAR-100 上评估视觉 Transformer，作者称该方法相比其他局部算法取得更好的准确率/内存权衡；在与零阶学习算法内存成本相当的情况下训练更快且性能更高。以上结果为作者论文摘要声称，尚无独立验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。