arXiv · cs.AI· Sifan Yang, Hongyi Tao, Dingzhi Yu, Haomin Bai, Wei Jiang, Silin Gao, Pi Bu, Lijun Zhang·· 6 小时前
带残差校正的内存高效子空间优化：从动量SGD到Muon
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
arXiv:2610.19844v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Sifan Yang, Hongyi Tao, Dingzhi Yu, Haomin Bai, Wei Jiang, Silin Gao, Pi Bu, Lijun Zhang
研究任务与主要进展
该论文提出带残差校正的内存高效子空间优化框架，并将动量SGD和Muon分别扩展为SMRC与PMRC。作者基于论文摘要报告，固定正交基下SMRC和PMRC均达到O(T^{-1/4})收敛率，与对应的全空间优化器相同；此外还设计了周期刷新子空间基的多阶段版本及跨阶段边界校正。摘要称实验结果支持这些算法的有效性和效率，但未说明具体实验规模、基线和资源数据。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org