线性模型梯度下降中延迟泛化的三阶段动力学

Atreya Vedantam、Nataraj Das 与 Chandrashekar Lakshminarayanan 在 arXiv 论文中证明：在线性可分数据上，用梯度下降和指数尾损失训练的线性模型也会出现延迟泛化，即测试准确率明显晚于训练准确率提升。 作者将超平面动态划分为三个阶段：总体阶段、支持向量主导的遗忘阶段和泛化阶段，并指出最大间隔方向之外的残差收敛会启动遗忘阶段，其时间尺度导致训练准确率先于测试准确率提升。 作者称通过改变总体和支持向量分布的受控实验验证了理论，并在单输出神经元的深度模型上用 MNIST 实验验证了预测的偏置行为。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。