KO用动力学模型优化神经网络训练

Mingquan Feng等人提出即插即用的神经网络优化器KO，通过Boltzmann输运方程离散化引入随机交互，在标准梯度更新之外模拟参数粒子系统的动力学。 据arXiv论文摘要，KO的理论分析可证明其在保持收敛保证的同时增加参数多样性；在CIFAR-10/100、ImageNet图像分类及大规模语言模型预训练实验中，作者称其准确率持续优于竞争基线，额外计算成本可忽略。上述效果目前来自作者报告，尚不等于独立复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。