提出带残差校正的子空间优化算法 SMRC 与 PMRC

Sifan Yang 等作者在 arXiv 发布论文，提出带残差校正的内存高效子空间优化框架，将动量 SGD 和 Muon 分别扩展为 SMRC 与 PMRC，并证明了二者的收敛率。该方法在固定正交基下维护子空间内的优化器状态，并把正交残差梯度加到参数更新中。 作者基于论文摘要报告，SMRC 和 PMRC 均达到 O(T^{-1/4}) 收敛率，与对应全空间优化器相同；论文还给出周期刷新子空间基的多阶段版本及跨阶段边界校正。摘要称实验结果支持算法的有效性和效率，但未说明具体实验规模、基线和资源数据。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。