无反向传播算法GPU能耗基准：省能耗但收敛代价高

Przemysław Spyra 与 Witold Dzwinel 在 NVIDIA A100 GPU 上对 Forward-Forward、Cascaded Forward、Mono-Forward 等前向算法与调优的反向传播基线进行了能耗、功率、内存和测试准确率基准比较，覆盖 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 四个视觉基准，共近 1000 次运行。 结果分两个口径：在与反向传播相同数据通过次数下，前向算法在所测最大配置（3x2000 多层感知机）上能耗低 12.5%–19.9%、内存少 24.6%–27.5%，功率更低且运行时间接近；而训练到收敛时，Mono-Forward 在 CIFAR-10 和 CIFAR-100 上测试准确率分别超过反向传播 3.90 和 5.04 个百分点，但需要 3.5–4.5 倍的数据通过次数和 3.2–4.0 倍的能耗。 预注册的消融实验（基于论文摘要）发现，在所测因素中梯度分离而非 Mono-Forward 的辅助损失是主导因素。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。